JIS&Tの運用商品で月毎の費用を取得したいときのスクリプト
cat jist.txt | grep -v 月| tr "\n" " " | sed 's/商品名 /\n/g' | tr -d "," | tr " \t" "," | sed 's/円[^円]*$/円/g' | grep 円 | tr -d " 円"
機械学習とかで確率の大きい順にラベル（インデックス）を出力したい
import numpy numpy.argsort([4, 2, 3])[::-1] #array([0, 2, 1])
気をつけなければいけないところ
import numpy numpy.argsort([0, 0, 1, 0, 0])[::-1] #array([2, 4, 3, 1, 0])
機械学習とかで確率の大きい順にラベル（インデックス）を出力したい
import numpy numpy.argsort([4, 2, 3])[::-1] #array([0, 2, 1])
気をつけなければいけないところ
import numpy numpy.argsort([0, 0, 1, 0, 0])[::-1] #array([2, 4, 3, 1, 0])
GBDT Classificationをサクッと実行する
# https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html
from sklearn.ensemble import GradientBoostingClassifier
#https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html
from sklearn.model_selection import train_test_split
import numpy
csvdata = numpy.loadtxt('sample.csv', delimiter=',', dtype='float')
#https://note.nkmk.me/python-numpy-loadtxt-genfromtxt-savetxt/
X, y = numpy.delete(csvdata, csvdata.shape[1]-1, 1), numpy.delete(csvdata, slice(csvdata.shape[1]-1), 1).reshape(-1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
max_depth=1, random_state=0).fit(X_train, y_train)
clf.score(X_test, y_test)
破損したSDカードのデータを救出した時のメモ
MacでSDカードを復旧するときのメモです。
SDの書込み中に抜いた為か、パーティションが壊れていそうな状態でした（直感）。 バイナリエディタでパーティション書き込んでいけば良いのかなとか思いながらいたら、 testdiskなる優秀なものが公開されており、それを使ったら楽々復元できたのでシェアです。 一番時間がかかったのは、SDカードのバックアップを取る作業ですので、時間がなければデータ消失が覚悟できるなら直接操作も良いかもしれません。
必要なもの
後で引用元のURLを貼る予定。
必要なツールをインストールする為にHomebrewをインストール
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
ddrescueとtestdiskをインストール
brew install ddrescue brew install testdisk
SDカードをMacに認識させる（フォーマットしないこと）
SDカードのアクセス先の名前を見つける
diskutil list
/dev/disk2とか
SDカードのバックアップを取る（そのままSDカードで実施する人はSKIP）
ddrescue /dev/rdisk2 ~/Desktop/sd.img ~/Desktop/sd.map
なお、/dev/disk2ではなく/dev/rdisk2にするとraw読み取りになるので早いらしい（早かった） takuya-1st.hatenablog.jp
Macにバックアップを認識させる（imgをダブルクリック）
testdiskを下記記事をもとにガチャガチャいじる pctrouble.net バックアップを操作するので安心
その他参照した記事 www.kerislab.jp
ubuntu用サクッとUFW設定
サクッとUFW設定
ufw allow from 192.168.0.0/16 to 192.168.0.0/16 ufw default deny outgoing #ufw default deny incomming #ufw default deny routed ufw status verbose ufw enable #ufw disable
Jupyter Notebookをサクッと使いたい
環境はUbuntu 21
Dockerを使用するので、Dockerさえ動けば問題なし
まずお好きなディレクトリに移動
Dockerのインストール
sudo apt install -y docker.io sudo systemctl enable docker
Dockerfileを下記で作成
FROM ubuntu RUN apt update -y && apt upgrade -y RUN apt install -y python3 python3-pip RUN pip3 install sklearn jupyter pandas pillow pyclustering folium numpy scipy
Dockerの起動（ip全公開・root許可・tokenは適当なので安全な環境下で使用可）
sudo docker build -t midori_jbook -f Dockerfile . && sudo docker rm -f midori_jbook && sudo docker run -d --restart unless-stopped --net host --name midori_jbook -v `pwd`/jdir/:`pwd`/jdir/ -w `pwd` midori_jbook jupyter notebook --ip=0.0.0.0 --notebook-dir=./jdir/ --NotebookApp.token='midori_d' --allow-root
