import io import urllib import matplotlib.pyplot as plt from PIL import Image def display_images(urls): plt.figure() for i, url in enumerate(urls): plt.subplot(1, 5, i+1) # 適宜表示したい数にあわせて調整 image = Image.open(io.BytesIO(reque…

IoUとは: Intersection over Union (IoU) for object detection - PyImageSearch import numpy as np from sklearn.metrics import jaccard_score N = 100 # 精度 # rect: top, left, bottom, right (0~1, float) def rect_to_array(rect): top, left, botto…

1. ログにグラフ情報を書き出す import tensorflow as tf log_dir = "/tmp/tf-log/" graph = tf.Graph() with tf.Session(graph=graph) as session: loaded = tf.saved_model.load( session, {'serve'}, ここにsaved_modelのpath ) train_writer = tf.summar…

これ読みながらのメモ Docker/Kubernetes 実践コンテナ開発入門作者: 山田明憲出版社/メーカー: 技術評論社発売日: 2018/08/25メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る alias: k: kubectl Dockerコンテナのdeploy --nameは本番環…

依存パッケージのインストール Gopkg.tomlがあるとき: dep ensure -vendor-only 基本操作 mapアクセス: https://go-tour-jp.appspot.com/moretypes/22 インスタンスメソッド: https://go-tour-jp.appspot.com/methods/1

切り替え 使ったことあるクラスタ一覧: kubectx クラスタ切り替えkubectx <NAME> 使ったことあるnamespace: kubens namespace切り替え: kubens <NAME> ※ brew install kubectxでkubectxとkubensが入る (ahmetb/kubectx: Fast way to switch between clusters and namespa</name></name>…

functools.partialを使うと引数を固定した関数を作ることができる。例えば以下のような引数を２つ受け取る関数args2を、functools.partialを使って１つ目の引数aを固定したargs1を作ると以下のような感じに使える。 import functools def args2(a, b): print…

日常会話 平凡な mediocrity がんばる 努力する strive もがき苦しみながらがんばる struggle しようとしている I'd try to ~ XX時ならいいよ Any time after/before XX is fine. こっそり見る sneak a peek 頼みを受ける/断る accept/refuse 自己紹介 はじ…

標準出力とファイルのログを書き出す 好きなコア数で並列処理する デバッグ中はデータ数少なくしたい みたいなときこんな感じでかいたの使ってる import time import argparse import logging import multiprocessing from pathlib import Path logger = log…

import pandas as pd def katakana_to_hiragana(text): d = {i: i - 0x60 for i in range(ord('ァ'), ord('ァ') + 86)} return text.str.translate(d) def hiragana_to_katakana(text): d = {i - 0x60: i for i in range(ord('ァ'), ord('ァ') + 86)} return…

Install $ pip install "dask[complete]" 各partitionごとに何かを計算してmergeするイメージ import pandas as pd import pandas as pd from dask import dataframe as dd def func(series): return pd.DataFrame({ 'min': [series.min()], 'median': [seri…

インスタンスのスペック変更 gcloud compute instances set-machine-type {VM_NAME} --custom-memory {MEMORY_GB} --custom-cpu {CPU_NUM}

コンテナ起動 $ docker run -d -it ubuntu:16.04 bash ※ ubuntu:16.04はdockerイメージ名 コンテナのターミナルに接続 $ docker exec -it ${CONTAINER_ID} bash コンテナの状態をコミット $ docker commit ${CONTAINER_ID} タグ付け $ docker tag ${commit番…

import datetime now = datetime.datetime.now() df.loc[:, 'birthday_dt'] = pd.to_datetime (df['birthday']) df.loc[:, 'age'] = (now - df['birthday_dt']).astype('

row, col = 10, 3 fig = plt.figure(figsize=(col * 5, row * 4)) for i, c in enumerate(df.columns): ax = fig.add_subplot(row, col, i + 1)

s.plot.pie(pctdistance=0.6, labeldistance=0.3, textprops={'color': "white", 'weight': "bold", 'fontsize': 12}, wedgeprops={'linewidth': 2,'edgecolor':"white"},)

import collections import pathlib # データ処理周り import numpy as np import pandas as pd from IPython.core.display import display # 可視化ライブラリ import matplotlib.pyplot as plt from matplotlib import cm # colormap import seaborn as sn…

d = access_features['count'].sort_values().reset_index() d.columns = ['base_index', 'count'] d = d.reset_index() from sklearn.cluster import KMeans from matplotlib import cm kmeans = KMeans(n_clusters=3) kmeans.fit(d[['count']]) d.loc[:, '…

dfにtimeカラムがあることを想定 文字列 -> datetime型 timeが2017-01-01とかの文字列だったとき pd.to_datatime(df['time']) でだいたいよしなにparseしてくれる unixtime -> datetime型 timeがunixtimeだったとき pd.to_datatime(df['time'], unit='s') 一…

参考文献メモ。 分類 ベース: Sequence Classification with LSTM Recurrent Neural Networks in Python with Keras - Machine Learning Mastery python - Keras LSTM multiclass classification - Stack Overflow 短文ならLSTM, 長文ならRNNが良いという噂…

PyCharm: 2017.1バージョンPreference > Project: Project Structure > パスを通したいフォルダを選択して「Sources」ボタンをクリック

全部1行ずつupsertしてたら100万件で数時間かかったので、 他の解決策を考える。 1時テーブルを作成しupdate + insert PostgreSQL CSV 取り込み upsert | odekakeshimasyo.me copy from => tmp table tmp tableからUpdate tmp tableからUpdateした分を削除し…

関数アノテーション: https://www.python.org/dev/peps/pep-3107/ 変数アノテーション: https://www.python.org/dev/peps/pep-0526/ Type Hinting: https://www.python.org/dev/peps/pep-0484/

3つの書き方 google style: Example Google Style Python Docstrings — napoleon 0.6.0 documentation numpy style: Example NumPy Style Python Docstrings — napoleon 0.6.0 documentation reST: Miscellaneous markup — Sphinx 1.6.5+ documentation reSt…

コマンド コマンド 意味 docker-compose build docker-compose.ymlの中身を変更したら実行する docker-compose up 起動 docker-compose run {サービス名} {command} コマンドを実行する docker-compose rm {サービス名} containerの削除。buildした内容を破…

[筑波ウェブコーパス｜教育サービス｜日本語・日本事情遠隔教育拠点](http://www.intersc.tsukuba.ac.jp/~kyoten/twc.html#.WcSXEdNJYdV)

REST API のエンドポイント ドキュメントに情報がないので頑張ってコードから探した division: 5d235dc9d281d2d50f6a2193ad2a312ec51d18ca Path GET /api/admin/attempts/{id}/userinfo GET /api/attempts GET /api/attempts/{id} GET /api/attempts/{id}/re…

直近n日間, n日前 TD_TIME_RANGE(time, TD_TIME_ADD(CAST(TO_UNIXTIME(NOW()) AS BIGINT), '-30d', 'JST'), NULL, 'JST') Presto 型一覧 7.1. Data Types — Presto 0.184 Documentation

まずはこれ読む ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本（ソフトカバー）この商品を含むブログ (17件) を見る https://system.jpaa.o…

友人に教えてもらったのでメモ 文字認識はCNNで終わるのか？ from Seiichi Uchida www.slideshare.netTPAMIのサーベイ論文: http://www.ucassdl.cn/publication/ye-PAMI2015.pdfもっと新しい情報: GitHub - chongyangtao/Awesome-Scene-Text-Recognition: A …