pandas.DataFrameのfor文を高速化する

概要

最近数百万オーダーのテーブルデータを扱うことがあり，そのデータを読み込んだpandas.DataFrameをfor文で処理が非常に遅く，困っておりました．
そこで，pandas.DataFrameのfor文を高速化する方法について調べたので，こちらにメモしておきます．

スマメイト13期の対戦データからレート帯ごとにキャラランクを決めてみた

スマメイト13期の対戦成績を解析して，レート帯ごとのキャラランクを決定してみました． あくまでオンラインでの結果であり，人口の少ないキャラクターがいてデータに偏りがある関係上， 直感とは反する結果が含まれる場合があるので， その点をご理解いただけたらと思います．

またスマメイト13期の対戦データは，Ver.10.1.0のものになります． その点も留意していただけたらと思います．

スマブラのオンライン対戦環境の傾向などを把握する助けとなれば幸いです．

過去に，スマメイトの対戦成績から相性補完ができるサブキャラを探してみたので，よければこちらも見ていただけたらと思います．

yiskw713.hatenablog.com

sqlite3のデータベースをpandasで読み出す方法

概要

sqlite3のデータベースをpandasで読み込む方法について調べたので，まとめておきます．

読み出し方

以下で簡単にできます．TABLE_NAMEには適宜テーブルの名前に変えてください．

import pandas as pd
import sqlite3

TABLE_NAME = "test"
filename = "sample.db"
connect = sqlite3.connect(filename)

df = pd.read_sql_query(f"SELECT * FROM {TABLE_NAME}", connect)

テーブル名の確認の仕方

ターミナルから以下を実行することで確認できます．

$ sqlite3 sample.db

SQLite version 3.24.0 2018-06-04 14:10:15
Enter ".help" for usage hints.
sqlite> .tables # テーブル一覧を表示

参考

• python3でsqlite3の操作。作成や読み出しなどの基礎。 - Qiita