yiskw note

機械学習やプログラミングについて気まぐれで書きます

python

【Starship / Python】Starshipを使用したプロンプト上でpyenv-virtualenvの環境が重複して表示されるのを直す

自分はStarshipを使用してプロンプトをカスタマイズしているのですが, 以下の画像のように,pyenv-virtualenvの環境が重複して表示されてしまっていました. ※ extract_color が,pyenv-virtualenvで作成したpython環境の名前 この問題は,PYENV_VIRTUALENV…

【Python】アンダースコア(_)の使い方

Pythonにおけるアンダースコア(_)の使い方について調べたので,こちらにメモを残しておきます. 主な使い方は以下の通りです. Jupyter Notebookやインタラクティブシェルで,最後に表示された値として使用する 不要な変数や返り値をアンダースコア(_)に割り…

【Python】del 文について

Pythonのdel文はリストから要素を削除する場合や, 変数の削除にも使用することができます. a = [1, 2, 3, 4, 5] del a[2:4] print(a) 出力 [1, 2, 5] しかしながら,このdel文はインスタンスを破棄するのではなく, あくまで参照カウントを1減らしているだ…

【Python】モジュール内でそのモジュールへの参照を取得する

概要 Pythonを用いて,モジュール内で定義したクラスの一覧から,指定されたクラスのインスタンスを返す関数を, そのモジュール内で作成しようとしておりました. 外部のモジュールであれば,以下のコードで実現が可能です. import mod # 自作モジュール c…

【PyTorch】nn.Sequentialで動画の前処理を行う

概要 PyTorchで動画データを読み込むにあたって, 動画をテンソル型に変換し,バッチ化するために前処理が必要となります. 動画の前処理は, 動画中のどのフレームを使用するかを決める時間方向の前処理 空間方向の前処理 (リサイズやクロップ,フリップな…

【PyTorch】モデルの可視化を行うtorchinfoを使ってみた

PyTorchでモデルを可視化する方法はいくつかありますが,今回はその中でtorchinfoというものを見つけました. 実際にtorchinfoを使用してみたので,その使い方についてこちらにメモを残しておきます. そのほかの可視化ライブラリについてもまとめております…

Djangoのテンプレートで使えるフィルターのまとめ

Djangoのテンプレートで使えるフィルターについて調べたので,こちらにメモを残しておきます. フィルターの書き方 date default dictsort length linebreaksbr lower safe truncatechars truncatewords 参考

DjangoのモデルのCharFieldで小文字のみを使用する方法

pythonのwebフレームワークであるDjangoにおいて,モデルのCharFieldで登録される文字を小文字に限定する方法について調べたので,メモとして残しておきます. やり方 オブジェクトを保存する際に文字列を小文字に変換すればよく, モデルクラスのsaveメソッ…

pytestでloggingのログ出力をテストする

概要 pytestでloggingのログ出力をテストする方法について調べたので,こちらにまとめておきます. ディレクトリ構造 便宜上以下のディレクトリ構造を想定してテストの方法を解説します. . ├── pac │ ├── __init__.py │ └── mod.py └── test_mod.py pac/mod…

Djangoでフィールド間の大小比較や差の絶対値の計算を行う

概要 Djangoでフィールド間の大小比較をした結果や,フィールド間の差の絶対値を新しいフィールドとして保存する方法について調べたので,メモを残しておきます.

pythonのdefaultdictで定数をデフォルト値に指定する方法

pythonの標準ライブラリであるcollectionで定義されたdefaultdictで,デフォルト値に定数を指定する方法について調べたのでメモしておきます. ダメな例 defaultdictの引数に直接定数を定義してみます. すると,defaultdictの引数は呼び出し可能(callable)…

pandas.DataFrameのfor文を高速化する

概要 最近数百万オーダーのテーブルデータを扱うことがあり,そのデータを読み込んだpandas.DataFrameをfor文で処理が非常に遅く,困っておりました. そこで,pandas.DataFrameのfor文を高速化する方法について調べたので,こちらにメモしておきます.

sqlite3のデータベースをpandasで読み出す方法

概要 sqlite3のデータベースをpandasで読み込む方法について調べたので,まとめておきます. 読み出し方 以下で簡単にできます.TABLE_NAMEには適宜テーブルの名前に変えてください. import pandas as pd import sqlite3 TABLE_NAME = "test" filename = "s…

pandasでUNIX時間をdatetime型に変換する

概要 pandasでUNIX時刻をdatetime型に変換する方法について調べたので,備忘録として残しておきます.

pytorchで全結合層以外の重みを固定して学習し直す

概要 pytorchで転移学習を行う際に,全結合層以外の重みを固定するということをよくやるのですが,毎回やり方を忘れて調べていたので,備忘録としてこちらに残しておきます.

python + seleniumを用いて,google mapを自動でスクショする

概要 最近画像解析のために航空写真が欲しく,それらをgoogle mapから自動で集められないかと思い, seleniumを用いた自動スクリーンショットを実装してみました.

plotly expressで散布図に色を変えた近似直線を追加する

概要 最近plotly expressを用いてデータの可視化を行なっているのですが, 散布図に近似直線を加える方法とその直線の色を変える方法について調査したのでメモしておきます.

pythonで毎週レビュワーのローテーションを通知するslack botを作成した

概要 自分が参加しているプロジェクトでは,みんなができるだけコード全体をキャッチアップできるように, PRの内容に詳しい人に加えて,ローテーションで1人レビュワーを追加するようにしています. 毎週どの人のPRをどの人がみるかを変えていたのですが,…