以下に、Jan を使ってローカルLLM（大規模言語モデル）を実行する方法を、解説します。
目次
Janとは？
Janは、完全オフラインでも動作するオープンソースのLLM実行環境です。GUI操作が中心で、技術的な知識がなくても、ChatGPTのようなAIチャットをローカルで楽しめます。
Janのインストール手順（Windows / Mac / Linux）
1. 【公式サイトからダウンロード】
- サイト: Jan公式サイト
- 上記URLにアクセス
- 自分のOSに合ったインストーラーをクリック（Windows/macOS/Linux）
2. 【インストーラーを起動してインストール】
- ダウンロードされたファイル（例：
jan-xxx.exe）をダブルクリックしてインストール - 指示に従ってインストールを完了
ローカルLLMの実行手順
3. 【Janを起動】
- Janアプリを起動すると、デフォルト画面が表示されます。
4. 【モデルのダウンロード】
左のメニューから「Hub」を選択
利用したいモデルを検索します。
今回はローカルLLMを実行するため、「On-device」を選択して、Mistralと入力します。バージョンが候補に表示されるので、今回は「mistral-nemo」を選択します。
参考：MistralのLLM一覧はこちら
あわせて読みたい
Mistral Docs
Documentation for the deployment and usage of Mistral AI’s LLMs
表示されたモデルの右側にある「Download」ボタンをクリック
5. 【チャットを開始】
- 左の「Thread」から新しいスレッドを作成
- チャットウィンドウにプロンプトを入力
- 右側にAIが生成した応答が表示されます
Janを実行するための推奨環境
- MacOS : 13以上
- ウィンドウズ:
- Windows 10以降
- GPU サポートを有効にするには:
- CUDA Toolkit 11.7 以降を搭載した Nvidia GPU
- Nvidia ドライバー 470.63.01 以上
- リナックス:
- glibc 2.27 以上（ で確認
ldd --version） - gcc 11、g++ 11、cpp 11以上。
- GPU サポートを有効にするには:
- CUDA Toolkit 11.7 以降を搭載した Nvidia GPU
- Nvidia ドライバー 470.63.01 以上
- glibc 2.27 以上（ で確認
出典：Jan Github : https://github.com/menloresearch/jan?tab=readme-ov-file#readme
モデル形式（GGUF形式）
Janは Hugging Face 等で配布されている GGUF形式の量子化モデル を使います。これはローカル実行に最適化された形式で、軽量＆高速動作が可能です。
注意点
- Janは一部、クラウドAI（ chatGPT・Claude・Geminiなど）との連携も可能ですが、これは別途APIキーが必要です。API連携の場合は有料となる場合があります。
公式ドキュメント
Jan公式サイト
https://jan.ai
Jan GitHubリポジトリ
https://github.com/menloresearch/jan
Windowsインストールガイド
https://jan.ai/docs/desktop/windows
Linuxインストールガイド
https://jan.ai/docs/desktop/linux
コメント