• Peak Performance, Minimized Memory: Optimizing torchtune’s performance with torch.compile & Liger Kernel

PyTorchのLLM fine-tuningライブラリtorchtuneを、torch.compileとLiger Kernelで高速化する手法を紹介。Liger Kernelはメモリ効率に優れたTritonカーネル集。torchtuneのTransformerDecoderを修正し、Liger KernelのFLCE Lossを使うことで、メモリ使用量を削減しつつ性能向上。A100 GPUでの実験で、torch.compileがPyTorch Eagerより高速で、Liger Kernel導入でメモリがさらに削減。batch size 256でピークメモリ47%削減。

引用元: https://pytorch.org/blog/peak-performance-minimized-memory/

• Mistral OCR Mistral AI

Mistral AIが新しいOCR API「Mistral OCR」を発表しました。これは、画像やPDFからテキスト、画像、表、数式などを高精度に抽出できるツールです。特に複雑なドキュメントの理解に優れており、多言語対応、高速処理、構造化された出力が可能です。研究機関での科学論文のデジタル化、文化遺産の保存、顧客サービスの効率化など、様々な分野での応用が期待されています。APIはすでに利用可能で、試用もできます。

引用元: https://mistral.ai/fr/news/mistral-ocr

• Evaluate RAG responses with Amazon Bedrock, LlamaIndex and RAGAS Amazon Web Services

RAG（Retrieval Augmented Generation）モデルの性能評価に、Amazon Bedrock、LlamaIndex、RAGASというツールを組み合わせる方法を紹介。RAGは、組織内のデータを利用してAIの応答精度を向上させる技術。記事では、RAGASとLlamaIndexを使って、検索と生成の両方の品質を評価し、改善点を見つける方法を解説。Bedrockの高性能な基盤モデルを活用し、LangChainと連携してサンプルRAGアプリケーションを構築。評価データセットを作成し、Faithfulness（忠実さ）、Answer Relevancy（回答の関連性）、Answer Correctness（回答の正確さ）などの指標でモデルを評価。LlamaIndexも同様に評価に利用可能。これらのツールを使うことで、AIの応答をより正確で組織のニーズに合ったものに改善できる。

引用元: https://aws.amazon.com/blogs/machine-learning/evaluate-rag-responses-with-amazon-bedrock-llamaindex-and-ragas/

• 松屋のメニュー「日曜遅めに起きて冷蔵庫にあんまり物が入ってないことを思い出したけど買い物もめんどくさい独身丼」が話題に→社長も反応

松屋の「とろっとたまごソーセージ丼」について、あるユーザーが「日曜遅めに起きて冷蔵庫にあんまり物が入ってないこと思い出したけど買い物もめんどくさい独身丼」というネーミングを提案し話題になっています。SNSでは「おいしそう」「懐かしい味」といったコメントとともに、松屋の社長も反応しています。

引用元: https://togetter.com/li/2521593

• お便り投稿フォーム

VOICEVOX:ずんだもん

• How Build.inc used LangGraph to launch a Multi-Agent Architecture for automating critical CRE workflows for Data Center Development.

Build.inc社が、LangGraphを活用し、商用不動産(CRE)におけるデータセンター開発の重要なワークフローを自動化するマルチエージェントアーキテクチャを構築した事例を紹介。25以上のサブエージェントからなる複雑なシステム「Dougie」は、これまで4週間かかっていた土地調査を75分で完了させる。 複雑性と可変性、データの断片化、専門知識の必要性から、従来のソフトウェアでは難しかった自動化を、エージェントファーストのアプローチで解決。複数の専門エージェントが連携し、タスクを分割・実行することで、効率化を実現している。 LangGraphによる非同期実行で並列処理を行い、大幅な時間短縮。エージェントをタスクに合わせて最適化し、単純化することで、より正確でモジュール化されたシステムを構築。不動産開発における反復的で複雑なワークフローを自動化し、時間とコストを削減、より戦略的な業務への集中を可能にする。

引用元: https://blog.langchain.dev/how-build-inc-used-langgraph-to-launch-a-multi-agent-architecture-for-automating-critical-cre-workflows-for-data-center-development/

• 「Gemini」、メモリー機能を全ユーザーに開放–有料ユーザー向けの新機能も

GoogleのAI「Gemini」がアップデート。以前は有料版限定だったユーザーの好みなどを記憶する機能が、全ユーザーに開放されました。これにより、名前やプロジェクトなどの情報を毎回入力する手間が省け、より関連性の高い回答が得られます。また、有料版ユーザー向けには、スマホの画面やカメラを通してGeminiが周囲の状況を認識し、質問に答えられる機能が追加。

引用元: https://japan.zdnet.com/article/35230016/

• 色々なことをClineにやらせてみた

AIコーディングツールClineを使って、コーディング以外にも色々なことを試した事例を紹介。タワーディフェンスゲームの作成、マリオのプレイ、ネットワーク問題の調査、図の作成など、Clineの応用範囲が広がることがわかる。特に、ネットワーク調査では、 Clineにコマンド実行を指示することで、問題の切り分けをAIが行い、頼れる存在になる様子が示されている。 Clineは開発者向けのツールだが、今後は誰もが使えるAIエージェント的ソフトが発展していくと予想される。

引用元: https://karaage.hatenadiary.jp/entry/2025/03/05/073000

• 指導教員がAIに研究テーマを与えたら論文が20分で生成されてしまったらしく「もう大学院生は要らないのでは？」となったが議論したら更に悲しい結論が出た

AIがM2レベルの論文を短時間で生成したことが話題。しかし、AIの利用にはコストがかかる一方、大学院生は学費を払うため、人材育成とは別の側面で存在意義があるという意見が出ている。AIは既存知識のまとめ役であり、新しい視点や発見を生み出す研究には、まだ人間の役割が重要であるとの議論も。

引用元: https://togetter.com/li/2520654

• お便り投稿フォーム

（株式会社ずんだもんは架空の登場組織です）

• AIエージェント時代の可能性と実践 #AIエージェント_findy

LayerX名村氏によるAIエージェントに関する発表資料です。 LLMによってソフトウエアが「考える力」を手にしたことで、ソフトウエアの能力が限界突破し、プログラムは「定義された入力→定義された出力」から「予測不要な入力→予測可能な出力」へ変化しました。 AIエージェント開発に必要な技術要素として、Model Routing、Workflow、Tool、Memory、RAG、Evaluationを紹介。 AIエージェントの設置場所として、サーバー、ブラウザ拡張、デスクトップアプリを比較検討し、AI SDK by Vercel、Meilisearch、LlamaIndex.TS、Langfuse等の技術を紹介しています。 プロンプトインジェクションに対する対策も重要です。

引用元: https://speakerdeck.com/layerx/ai-agents-practice-202503

• Inception LabsのMercury Coder：dLLMs

Inception Labsが開発したMercury Coderは、Diffusion Model（拡散モデル）をベースにした新しいLLMです。従来のTransformerモデルと異なり、ノイズ除去のプロセスでテキストを生成します。これにより、NVIDIA H100 GPU上でGPT-4の最大10倍の速度でテキストを生成できます。特にコード生成に優れており、高速なプログラミング支援が可能です。今後の展望として、チャットボットへの応用も期待されています。

引用元: https://zenn.dev/acntechjp/articles/8827db27237c8a

• IBM、推論機能を強化したLLM「Granite 3.2」を発表

IBMが企業向けLLM「Granite 3.2」を発表。推論機能向上が特徴で、CoT推論という手法で複雑な問題を分割、人間のような推論を目指しています。特に、TPOフレームワークにより、推論能力を高めつつ、タスク全体の性能を維持。また、ドキュメント理解に特化したVLMも導入し、大量のPDFデータで学習させています。さらに、長期予測が可能なTiny Time Mixerモデルも提供。これらのモデルはHugging Face等で公開されており、Apache License 2.0で利用可能です。

引用元: https://japan.zdnet.com/article/35229974/

• OpenAI最高研究責任者が「（GPT-4.5では）ASCIIアートを作る能力なんかもすごく向上しました」というから初音ミクのアスキーアートを頼んでみました

OpenAIの最高研究責任者がGPT-4.5でASCIIアート生成能力が向上したと発言。実際に初音ミクのASCIIアートを生成させたところ、「やる夫」風のものが生成され、SNSで話題になっています。期待されたほどの出来ではなかったようです。

引用元: https://togetter.com/li/2520076

• お便り投稿フォーム

（株式会社ずんだもんは架空の登場組織です）