ひよこ、通勤中。

通勤中の電車の中でひよこは何を思うのか。

関数の引数を固定した関数を作る

functools.partialを使うと引数を固定した関数を作ることができる。例えば以下のような引数を2つ受け取る関数args2を、functools.partialを使って1つ目の引数aを固定したargs1を作ると以下のような感じに使える。 import functools def args2(a, b): print…

しゃべる英語めも

平凡な mediocrity がんばる 努力する strive もがき苦しみながらがんばる struggle しようとしている I'd try to ~ もやし bean sprout なす egg plant

モデルを学習させるときのスクリプトテンプレート in Python

標準出力とファイルのログを書き出す 好きなコア数で並列処理する デバッグ中はデータ数少なくしたい みたいなときこんな感じでかいたの使ってる import time import argparse import logging import multiprocessing from pathlib import Path logger = log…

ひらがな <-> カタカナ in pandas

import pandas as pd def katakana_to_hiragana(text): d = {i: i - 0x60 for i in range(ord('ァ'), ord('ァ') + 86)} return text.str.translate(d) def hiragana_to_katakana(text): d = {i - 0x60: i for i in range(ord('ァ'), ord('ァ') + 86)} return…

DaskでDataFrameをpartitionに分けて並列処理

Install $ pip install "dask[complete]" 各partitionごとに何かを計算してmergeするイメージ import pandas as pd import pandas as pd from dask import dataframe as dd def func(series): return pd.DataFrame({ 'min': [series.min()], 'median': [seri…

gcloudコマンドメモ

インスタンスのスペック変更 gcloud compute instances set-machine-type {VM_NAME} --custom-memory {MEMORY_GB} --custom-cpu {CPU_NUM}

dockerメモ

コンテナ起動 $ docker run -d -it ubuntu:16.04 bash ※ ubuntu:16.04はdockerイメージ名 コンテナのターミナルに接続 $ docker exec -it ${CONTAINER_ID} bash コンテナの状態をコミット $ docker commit ${CONTAINER_ID} タグ付け $ docker tag ${commit番…

誕生日から年齢を出す

import datetime now = datetime.datetime.now() df.loc[:, 'birthday_dt'] = pd.to_datetime (df['birthday']) df.loc[:, 'age'] = (now - df['birthday_dt']).astype('

n * mのグラフを書く

row, col = 10, 3 fig = plt.figure(figsize=(col * 5, row * 4)) for i, c in enumerate(df.columns): ax = fig.add_subplot(row, col, i + 1)

いつもの円グラフ

s.plot.pie(pctdistance=0.6, labeldistance=0.3, textprops={'color': "white", 'weight': "bold", 'fontsize': 12}, wedgeprops={'linewidth': 2,'edgecolor':"white"},)

自分流jupyter notebookの1セル目

import collections import pathlib # データ処理周り import numpy as np import pandas as pd from IPython.core.display import display # 可視化ライブラリ import matplotlib.pyplot as plt from matplotlib import cm # colormap import seaborn as sn…

いつものHML分析

d = access_features['count'].sort_values().reset_index() d.columns = ['base_index', 'count'] d = d.reset_index() from sklearn.cluster import KMeans from matplotlib import cm kmeans = KMeans(n_clusters=3) kmeans.fit(d[['count']]) d.loc[:, '…

pandasで日時周り

dfにtimeカラムがあることを想定 文字列 -> datetime型 timeが2017-01-01とかの文字列だったとき pd.to_datatime(df['time']) でだいたいよしなにparseしてくれる unixtime -> datetime型 timeがunixtimeだったとき pd.to_datatime(df['time'], unit='s') 一…

数百字のテキストを分類/クラスタリングしてみる with Keras

参考文献メモ。 分類 ベース: Sequence Classification with LSTM Recurrent Neural Networks in Python with Keras - Machine Learning Mastery python - Keras LSTM multiclass classification - Stack Overflow 短文ならLSTM, 長文ならRNNが良いという噂…

PyCharmでRoot以外にもPythonPathを追加したい時

PyCharm: 2017.1バージョンPreference > Project: Project Structure > パスを通したいフォルダを選択して「Sources」ボタンをクリック

postgresqlでcsvファイルから一括upsert

全部1行ずつupsertしてたら100万件で数時間かかったので、 他の解決策を考える。 1時テーブルを作成しupdate + insert PostgreSQL CSV 取り込み upsert | odekakeshimasyo.me copy from => tmp table tmp tableからUpdate tmp tableからUpdateした分を削除し…

pythonの型に関する話

関数アノテーション: https://www.python.org/dev/peps/pep-3107/ 変数アノテーション: https://www.python.org/dev/peps/pep-0526/ Type Hinting: https://www.python.org/dev/peps/pep-0484/

Pythonのdocstringの書き方について

3つの書き方 google style: Example Google Style Python Docstrings — napoleon 0.6.0 documentation numpy style: Example NumPy Style Python Docstrings — napoleon 0.6.0 documentation reST: Miscellaneous markup — Sphinx 1.6.5+ documentation reSt…

docker-composeよく使うコマンド

コマンド コマンド 意味 docker-compose build docker-compose.ymlの中身を変更したら実行する docker-compose up 起動 docker-compose run {サービス名} {command} コマンドを実行する docker-compose rm {サービス名} containerの削除。buildした内容を破…

NLP系調べごとのメモ

[筑波ウェブコーパス|教育サービス|日本語・日本事情遠隔教育拠点](http://www.intersc.tsukuba.ac.jp/~kyoten/twc.html#.WcSXEdNJYdV)

digdag使い方メモ

REST API のエンドポイント ドキュメントに情報がないので頑張ってコードから探した division: 5d235dc9d281d2d50f6a2193ad2a312ec51d18ca Path GET /api/admin/attempts/{id}/userinfo GET /api/attempts GET /api/attempts/{id} GET /api/attempts/{id}/re…

Tresure Data (presto) よく使うものリスト

直近n日間, n日前 TD_TIME_RANGE(time, TD_TIME_ADD(CAST(TO_UNIXTIME(NOW()) AS BIGINT), '-30d', 'JST'), NULL, 'JST') Presto 型一覧 7.1. Data Types — Presto 0.184 Documentation

DeepLearningに関するメモ

まずはこれ読む ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本(ソフトカバー)この商品を含むブログ (17件) を見る https://system.jpaa.o…

文字認識関連の情報まとめ

友人に教えてもらったのでメモ 文字認識はCNNで終わるのか? from Seiichi Uchida www.slideshare.netTPAMIのサーベイ論文: http://www.ucassdl.cn/publication/ye-PAMI2015.pdfもっと新しい情報: GitHub - chongyangtao/Awesome-Scene-Text-Recognition: A …

「ちょっと、男子ちゃんと歌ってよ」現象

合唱練習中に不真面目な男子生徒に対して 「ちょっと、男子ちゃんと歌ってよ!」 って学級委員長の女の子が言う奴。 別に、歌じゃなくて、掃除でもなんでもいいけど、漫画とかでもたまにあるよね。 不真面目に見えてる人に対して高圧的に「◯◯しなさいよ!」…

PCの容量食ってるフォルダを探す

今いるディレクトリ以下で容量食ってるやつわかる。 よくやるのでメモ。 du -d 1 -m | sort -rn | head -10 こんな感じでかえってくる du -d 1 -m | sort -rn | head -10 16:26:47 133558 . 40122 ./Library 28658 ./Music 23982 ./Pictures ...

データ分析おしごとtips

進捗共有Meetingの極意 ゴールイメージの共有(OP) 前提条件(1話) 前回までの進捗(前回のラブライブ) 今回どこまで進んだのか(本編) 分析提案三大大事な質問 「◎◎って手法がすごいらしいからうちもそれでやりたい」 というような場合に対応するときの大切な認…

ゲーム用にSIMフリーのAndroid端末が欲しい

ゲームがしたいだけなので、それほどのスペックは求めてない、安いのがいい。 調べてみた感じasusのZenFoneのこの辺りがコスパよさそう。 ※2017/04/22現在 どっちにするか考え中。 エイスース ZenFone 3 Max ゴールド ZC520TL-GD16 出版社/メーカー: Asus メ…

フィンランド・ヘルシンキ旅行

ヘルシンキ旅行めも 4月のヘルシンキは寒い ヘルシンキは夏が観光シーズンらしい。 行ってみてわかったけど、4月は気温が最低-5°C 最高4°Cとかで、歩いて観光するにはきつい。 あったかいコートをもっていったけど全然足りなくて、この時期観光するならマフ…

エストニア日帰り旅行

フィンランド・ヘルシンキからエストニアに日帰り旅行。 VIKING LINEという会社の船で往復30ユーロ弱、片道1時間45分。安いし近い。 ※ただし出発30分以上前にターミナルについてチケットの発券・乗船する必要がある。 前日にインターネットで簡単に予約でき…