Redshiftしか勝たん！① DWHとAI、ついに融合す
DBエンジニアがAI技術者の夢を見る
AIがITのメインストーリムに来る少し前の2018年くらい、世のDBエンジニアはこう思っていました。
「AIはデータでの学習・推論が命。データといえばDB。しかしSQLとAIは一緒に使えそうな、使えなさそうな、、。DBとAIが融合されればDBエンジニアの仕事の幅も増えそうだが、、果たしてどうなるのか」
その後、OracleやMicrosoftから自社のDBエンジンにAIを組み込んだ製品が発売されますが、中身としては従来のSQL Server からPythonコマンドを立てけるだけ、、といったとってつけた感がすごくて、流行しませんでした。
そして、学習＝フルスキャンという性質からAIではDBというよりもストレージを中心としたアーキテクチャが多く発表されました。
AWSでいうと、SageMaker+Lustreのようなアーキテクチャです。
でもこれはPythonを使えないとコーディングできないので、前述したような
「DBエンジニアがAI技術者の夢を見る」
事は困難だったのです。
Redshift MLデビュー
最近、「SQLで機械学習の学習と推論を行う」という、夢のような機能がでました。
はい、Refshiftです。さすが、研究開発4兆円企業です。
実際に使ってみた
というわけで、やってみました。AWSのサンプルのままですが
詳細の手順は上記通り。
で、実際やった結果とその考察がこちら。
もう、一言でいうと素晴らしいの一言。
ただし、実行時間が少しおそかったような、、いくつものアルゴリズム学習をするから仕方ないのか。
また、同僚からは「精度はみれないのか」との指摘。裏で動いているSageMakerをみれば確認できるようですが、SQLコマンド一発で精度まで取得できればさらにいいと思います。
まだプレビューなので、GAに期待です。
