GBDT Classificationをサクッと実行する

# https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html
from sklearn.ensemble import GradientBoostingClassifier
#https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html
from sklearn.model_selection import train_test_split
import numpy

csvdata = numpy.loadtxt('sample.csv', delimiter=',', dtype='float')
#https://note.nkmk.me/python-numpy-loadtxt-genfromtxt-savetxt/
X, y = numpy.delete(csvdata, csvdata.shape[1]-1, 1), numpy.delete(csvdata, slice(csvdata.shape[1]-1), 1).reshape(-1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
clf = GradientBoostingClassifier(n_estimators=100, learning_rate=1.0,
                                 max_depth=1, random_state=0).fit(X_train, y_train)
clf.score(X_test, y_test)

破損したSDカードのデータを救出した時のメモ

MacでSDカードを復旧するときのメモです。

SDの書込み中に抜いた為か、パーティションが壊れていそうな状態でした(直感)。 バイナリエディタパーティション書き込んでいけば良いのかなとか思いながらいたら、 testdiskなる優秀なものが公開されており、それを使ったら楽々復元できたのでシェアです。 一番時間がかかったのは、SDカードのバックアップを取る作業ですので、時間がなければデータ消失が覚悟できるなら直接操作も良いかもしれません。

必要なもの

  • Mac
  • 壊れたSDカード
  • SDカードリーダー(私はSONYのデジカメを利用しました)

後で引用元のURLを貼る予定。

必要なツールをインストールする為にHomebrewをインストール

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

ddrescueとtestdiskをインストール

brew install ddrescue
brew install testdisk

pctrouble.net

SDカードをMacに認識させる(フォーマットしないこと)

SDカードのアクセス先の名前を見つける

diskutil list

/dev/disk2とか

SDカードのバックアップを取る(そのままSDカードで実施する人はSKIP)

ddrescue /dev/rdisk2 ~/Desktop/sd.img ~/Desktop/sd.map

なお、/dev/disk2ではなく/dev/rdisk2にするとraw読み取りになるので早いらしい(早かった) takuya-1st.hatenablog.jp

Macにバックアップを認識させる(imgをダブルクリック)

testdiskを下記記事をもとにガチャガチャいじる pctrouble.net バックアップを操作するので安心

その他参照した記事 www.kerislab.jp

Jupyter Notebookをサクッと使いたい

環境はUbuntu 21

Dockerを使用するので、Dockerさえ動けば問題なし

ubuntu.com

まずお好きなディレクトリに移動

Dockerのインストール

sudo apt install -y docker.io
sudo systemctl enable docker

Dockerfileを下記で作成

FROM ubuntu
RUN apt update -y && apt upgrade -y
RUN apt install -y python3 python3-pip
RUN pip3 install sklearn jupyter pandas pillow pyclustering folium numpy scipy

Dockerの起動(ip全公開・root許可・tokenは適当なので安全な環境下で使用可)

sudo docker build -t midori_jbook -f Dockerfile . &&
sudo docker rm -f midori_jbook &&
sudo docker run -d --restart unless-stopped --net host --name midori_jbook -v `pwd`/jdir/:`pwd`/jdir/ -w `pwd` midori_jbook jupyter notebook --ip=0.0.0.0 --notebook-dir=./jdir/ --NotebookApp.token='midori_d' --allow-root

AX88179ドライバのインストール

MacBookを新調した際LANのドライバのダウンロードに苦戦したので下記にメモ。

※インストールして見ましたがBig Surでは動きませんでした

 

ダウンロード先

f:id:midori_d:20210501194118p:plain

www.asix.com.tw

 

備考

  • 会員登録不要でDownload可能
  • macOS Big Sur 11.3ではドライバがベータ版(怖いよね)