論文の概要: Building LLM Agent Systems the Deep Learning Way: From Modular Design to Architecture Search

• arxiv url: http://arxiv.org/abs/2610.04961v1
• Date: Sun, 04 Oct 2026 05:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 07:34:12.644427
• Title: Building LLM Agent Systems the Deep Learning Way: From Modular Design to Architecture Search
• Title（参考訳）: LLMエージェントシステムの構築: モジュール設計からアーキテクチャ検索へ
• Abstract要約: 大規模言語モデル(LLM)はAI研究に革命をもたらし、エキサイティングなエージェントシステムを実現した。 我々は,深層ニューラルネットワーク構築と同様,LLMエージェントシステムをモジュール方式で構築することを提案する。 我々の重要な洞察は、検索、記憶、プロンプト戦略などのLLMビルディングブロックと、成功したディープラーニングモジュールとの類似性を作ることである。
• 参考スコア（独自算出の注目度）: 21.74091937295158
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have revolutionized AI research and enabled exciting agent systems. To build a complex LLM agent system, most existing research relies on insights from other domains or heuristics to manually build the agent system. However, this approach often requires heavy hand-engineering and fails to fully optimize for the downstream task of interest. Inspired by the tremendous success of deep learning, we propose to construct LLM agent systems in a modular manner, similar to building a deep neural network. Our key insight is to make analogies between LLM building blocks, such as retrievals, memories, and prompting strategies, and the successful deep learning modules, such as MLPs, attention, and recurrent modules. We further design forward inference and feedback mechanisms for LLMs, where prompts in LLMs are considered as the weights in deep models, and the prompt optimization from feedback is analogous to the back-propagation algorithm. We additionally leverage a search algorithm to search for the best configuration of LLM agent systems, similar to the neural architecture search (NAS) in deep learning research. Comprehensive experimental results demonstrate that the proposed deep learning recipe for LLM agent systems is highly effective, in particular: (1) Organizing LLM modules into deep-learning-style architectures yields noticeable performance gain; (2) Automatic prompt optimization, equivalent to backpropagation, is efficient in incorporating feedback from the task of interest and achieves at least 5% performance improvement; (3) NAS equivalent algorithm works well for further optimizing the LLM agent system architecture with 11% performance gain compared with randomly designed architectures. Overall, our research demonstrates the exciting opportunity of transferring the success of deep learning to building LLM agent systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)はAI研究に革命をもたらし、エキサイティングなエージェントシステムを実現した。 複雑なLLMエージェントシステムを構築するために、既存の研究のほとんどは、エージェントシステムを手動で構築するために、他のドメインやヒューリスティックからの洞察に依存している。 しかし、このアプローチは、しばしば手作りの重い作業を必要とし、下流の作業に完全に最適化するのに失敗する。 ディープラーニングの成功に触発されて,我々は,深層ニューラルネットワーク構築と同様,LLMエージェントシステムをモジュール方式で構築することを提案する。 我々の重要な洞察は、検索、メモリ、プロンプト戦略などのLLMビルディングブロックと、MLP、アテンション、リカレントモジュールなどのディープラーニングモジュールとを類似させることである。 我々は、LLMのプロンプトを深層モデルの重みと見なし、フィードバックからの迅速な最適化をバックプロパゲーションアルゴリズムに類似した、LLMのフォワード推論とフィードバック機構をさらに設計する。 ディープラーニング研究におけるニューラルアーキテクチャサーチ(NAS)と同様,LLMエージェントシステムの最適構成を探索するために,探索アルゴリズムを活用する。 1) 深層学習スタイルのアーキテクチャにLLMモジュールを組み込むと、顕著な性能向上が得られ、(2) バックプロパゲーションに匹敵する自動的な迅速な最適化は、興味のあるタスクからのフィードバックを取り入れ、少なくとも5%の性能向上を達成する。 本研究は総合的に,LLMエージェントシステム構築に深層学習を成功させるエキサイティングな機会を示すものである。

関連論文リスト

• Closed-Loop LLM Discovery of Non-Standard Channel Priors in Vision Models [48.83701310501069]
  大規模言語モデル(LLM)はニューラルアーキテクチャサーチ(NAS)に対する変換的アプローチを提供する 我々は、LLMが性能テレメトリに基づいてアーキテクチャ仕様を洗練する条件付きコード生成タスクのシーケンスとして検索を定式化する。 AST(Abstract Syntax Tree)変異を用いて,有効かつ整合性のあるアーキテクチャの膨大なコーパスを生成する。 CIFAR-100の実験結果は、この手法の有効性を検証し、精度の統計的に有意な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2026-01-13T13:00:30Z)
• Throughput-Optimal Scheduling Algorithms for LLM Inference and AI Agents [6.318292471845427]
  我々は,大規模言語モデル(LLM)推論のための待ち行列の基礎を開発する。 大規模な'作業保守'スケジューリングアルゴリズムが最大スループットを達成できることを実証する。
  論文  参考訳（メタデータ） (2025-04-10T00:12:12Z)
• LLM-Guided Evolution: An Autonomous Model Optimization for Object Detection [0.0]
  機械学習では、ニューラルネットワークサーチ(NAS)はモデル設計のドメイン知識と、有望なパフォーマンスを達成するために大量の試行錯誤を必要とする。 Large Language Model (LLM)-Guided Evolution (GE)フレームワークは、CIFARデータ上の画像分類アルゴリズムのモデルソースコードを直接修正するためにLLMを組み込むことによって、このアプローチを変革した。 LLM-GEは平均平均精度を92.5%から94.5%に向上させるなど,大幅な性能向上を図った。
  論文  参考訳（メタデータ） (2025-04-03T05:06:06Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
  マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。 本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights [86.06371692309972]
  本研究では,大規模言語モデル(LLM)に基づくアルゴリズムの設計と解析のための分析フレームワークを提案する。 提案する枠組みは頭痛を緩和する試みとして機能する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。