IT 【体験談】num_ctxを上げたら、長文入力時にLLMが同じ文章をループし始めた話
時系列で振り返る、ある一週間の記録1日目。Ollamaで動かしている日本語LLM(Nemotron系、Q5_K_M量子化)に、長めの文章を入力するテストを重ねていた。入力が短いうちは何の問題もない。だが、入力テキストが2万文字を超えるあたり...
LLM
IT 
IT eGPU運用ガイド：AG01＋Tesla系GPUでAI性能を最大化する方法
イントロダクションノートPCや小型PCで ローカルAI（LLM・画像生成）を高速化したい 場合、eGPU（外付けGPU）は非常に有効な選択肢です。 特に AG01＋Tesla P100/V100 の組み合わせは、中古市場の価格低下もあり、A...
Delphi 【体験談】DelphiからOllamaを叩いたら、指定したはずのパラメータが一切効いていなかった話
結論から言うと、リクエストの中身が空だった先に結論を書いておくと、原因は「JSONを組み立てるコードは書いたのに、そのオブジェクトを最終的なリクエストボディにアタッチし忘れていた」という、実にシンプルなバグだった。ただ、これに気づくまでの過...
IT 【体験談】Ollama×日本語LLMでEOSトークンが認識されず、生成が止まらなくなった話
「文章としては正しいのに、なぜか終わらない」Ollama経由でNemotron系の日本語LLM(Q5_K_M量子化)を動かしている。 ある日、テスト運用中に「生成がいつまで経っても終わらない」という症状に遭遇した。出力自体はおかしくない。文...
IT 【体験談】Pascal世代GPU(CC6.0)でkotoba-whisper・qwen3-asrを動かそうとしてハマった話
型落ちGPUだから、で片付けられると思っていた過去記事でTesla P100でLLMを使用していた記事は書いたけど、P100で音声認識(STT)を試みた話、 医療系ドキュメント生成システムの一部として、音声認識(STT)パイプラインを構築し...
IT 【体験談】Windows環境でDocker Desktopが起動しない原因を徹底調査したら、WSL2の設定ミスだった話
はじめに2026年の春、ローカル開発環境をDockerに統一しようと思い、 Windows 11にDocker Desktopを導入しました。しかし、インストール後に起動しようとすると、 「Docker Desktop failed to ...