みなさんこんにちは、ユニファの赤沼です。 この記事は Unifa Advent Calendar 2023 の24日目の記事です。
最近 ChatGPT をはじめとした LLM をAPIで利用することは多い一方で、ローカル環境でモデルを動かしたことはなかったのですが、先日ブラックフライデーのセールでゲーミングPCが安くなっていて、 ただゲームやりたさに AI関連のことに使いたいなと思い Windows PC を買ったこともあり、何もわからないところから最低限ひとまずモデルを動かしてみました。
ローカルに直接各種ライブラリなどをインストールして環境を作るのは後々依存関係など面倒なので Docker で動かしたいと思い、手探りでいろんなサイトを拝見してやり方を調べましたが、 WSL2 の Ubuntu の上で環境を構築するケースが多そうだったものの、WindowsもローカルLLMも初心者なので、今回はまずはシンプルに Windows 上の Docker で動かす方法でやってみます。
続きを読む