digdag使い方メモ
REST API のエンドポイント
ドキュメントに情報がないので頑張ってコードから探した division: 5d235dc9d281d2d50f6a2193ad2a312ec51d18ca
| Path | |
|---|---|
| GET | /api/admin/attempts/{id}/userinfo |
| GET | /api/attempts |
| GET | /api/attempts/{id} |
| GET | /api/attempts/{id}/retries |
| GET | /api/attempts/{id}/tasks |
| PUT | /api/attempts |
| POST | /api/attempts/{id}/kill |
| PUT | /api/logs/{attempt_id}/files |
| GET | /api/logs/{attempt_id}/upload_handle |
| GET | /api/logs/{attempt_id}/files |
| GET | /api/logs/{attempt_id}/files/{file_name} |
| GET | /api/project |
| GET | /api/projects |
| GET | /api/projects/{id} |
| GET | /api/projects/{id}/revisions |
| GET | /api/projects/{id}/workflow |
| GET | /api/projects/{id}/workflows/{name} |
| GET | /api/projects/{id}/workflows |
| GET | /api/projects/{id}/schedules |
| GET | /api/projects/{id}/sessions |
| GET | /api/projects/{id}/archive |
| DELETE | /api/projects/{id} |
| PUT | /api/projects |
| PUT | /api/projects/{id}/secrets/{key} |
| DELETE | /api/projects/{id}/secrets/{key} |
| GET | /api/projects/{id}/secrets |
| GET | /api/schedules |
| GET | /api/schedules/{id} |
| POST | /api/schedules/{id}/skip |
| POST | /api/schedules/{id}/backfill |
| POST | /api/schedules/{id}/disable |
| POST | /api/schedules/{id}/enable |
| GET | /api/sessions |
| GET | /api/sessions/{id} |
| GET | /api/sessions/{id}/attempts |
| GET | /api/version |
| GET | /api/version/check |
| GET | /api/workflow |
| GET | /api/workflows |
| GET | /api/workflows/{id} |
| GET | /api/workflows/{id}/truncated_session_time |
digdag push
digdag push すきなプロジェクト名 --project digdag該当ディレクトリ
Secretキーへpy>やsh>からアクセスする
*.digdag
+python-task:
_env:
pg_pw: ${secret:pg.password}
py>: tasks.main
main.py
import digdag import os #digdag変数へのアクセス digdag.env.params['session_id'] #secretにenv経由でアクセス pw = os.environ.get('pg_pw')
Tresure Data (presto) よく使うものリスト
直近n日間, n日前
TD_TIME_RANGE(time,
TD_TIME_ADD(CAST(TO_UNIXTIME(NOW()) AS BIGINT),
'-30d',
'JST'),
NULL,
'JST')
Presto 型一覧
DeepLearningに関するメモ
まずはこれ読む
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2016/09/24
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (17件) を見る
「ちょっと、男子ちゃんと歌ってよ」現象
合唱練習中に不真面目な男子生徒に対して
「ちょっと、男子ちゃんと歌ってよ！」
って学級委員長の女の子が言う奴。
別に、歌じゃなくて、掃除でもなんでもいいけど、漫画とかでもたまにあるよね。
不真面目に見えてる人に対して高圧的に「◯◯しなさいよ！」って注意するのは反発心をもたせてしまうだけで大抵全く効果がない。
というのはわかっていても、じゃあどう言い換えるかというのを考えるのは難しい( ˘•_•˘ ).｡oஇ 言わない方がよかったりもする場合もあるし。
ゲームでチームリーダーをやってると「ちょっと、男子ちゃんと歌ってよ」現象をよく発生させてしまうくーさんであった~( ~´･ω･`)~
PCの容量食ってるフォルダを探す
今いるディレクトリ以下で容量食ってるやつわかる。 よくやるのでメモ。
du -d 1 -m | sort -rn | head -10
こんな感じでかえってくる
du -d 1 -m | sort -rn | head -10 16:26:47 133558 . 40122 ./Library 28658 ./Music 23982 ./Pictures ...
データ分析おしごとtips
進捗共有Meetingの極意
- ゴールイメージの共有(OP)
- 前提条件(1話)
- 前回までの進捗(前回のラブライブ)
- 今回どこまで進んだのか(本編)
分析提案三大大事な質問
「◎◎って手法がすごいらしいからうちもそれでやりたい」 というような場合に対応するときの大切な認識すり合わせ
この分析を通して知りたいことはなんですか？
- もっとかんたんな方法もあるかも？
分析結果は何に使うんですか？？
- 知りたいことと、使いたいことにギャップがないか
- 予測なのか・要因の分析なのか
サンプルデータください
- 本当に知りたいことが調べられるデータがあるのか？
これをすり合わせないと自分の仕事はだいたい無に還る
