論文の概要: Lost in Delegation: Studying the Effectiveness of Task Orchestration in Generative Search
- arxiv url: http://arxiv.org/abs/2611.16526v1
- Date: Thu, 12 Nov 2026 09:25:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.413545
- Title: Lost in Delegation: Studying the Effectiveness of Task Orchestration in Generative Search
- Title(参考訳): デリゲーションにおける損失--ジェネレーティブ検索におけるタスクオーケストレーションの有効性の検討
- Abstract要約: LLMは独立したモデルから、複雑な代入を解決するために外部ツールにタスクを委譲するエージェントシステムへと進化してきた。
オーケストレートLLMが自身の知識から確実に解決できないという、タスクがカットオフ後の情報を含む場合、デリゲートが役立つかどうかは不明だ。
デリゲートは非デリゲートセットアップに対して一貫した精度改善を提供しない。
我々の分析では、歪んだデリゲートクエリ、非効率なツールの使用、エージェント間の情報の保存と使用の失敗を、繰り返し発生する障害モードとして識別する。
- 参考スコア(独自算出の注目度): 4.377504559722898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs have quickly evolved from models used in isolation to agentic systems that delegate tasks to external tools and other LLMs to solve complex assignments. This agentic augmentation has led to impressive capability gains. However, when and how delegation improves performance remains poorly understood. For example, it is unclear whether delegation helps when tasks involve post-cutoff information that the orchestrating LLM cannot reliably resolve from its own knowledge. In this work, we use purpose-built datasets with pre- and post-cutoff splits to compare various delegation modes. We find that delegation provides no consistent accuracy improvement over non-delegated setups, with effects varying across models and tasks. When tasks involve knowledge unavailable to the orchestrator, delegation can substantially degrade accuracy, while direct tool use with the same LLM performs much better. Our analysis identifies distorted delegated queries, inefficient tool use, and failures to preserve and use information between agents as recurring failure modes. These findings suggest that effective orchestration requires both well-calibrated delegation decisions and effective exchange of information between agents.
- Abstract(参考訳): LLMは、単独で使われるモデルから、複雑な代入を解決するために外部ツールや他のLLMにタスクを委譲するエージェントシステムへと急速に進化してきた。
このエージェントの強化は、驚くべき能力向上につながった。
しかし、いつ、どのようにデリゲートがパフォーマンスを改善するかは、まだよく分かっていない。
例えば、オーケストレート LLM が自分自身の知識から確実に解決できないという、タスクがカットオフ後の情報を含む場合、デリゲートが役立つかどうかは不明だ。
本研究では,プレカットとポストカットの分割を併用した汎用データセットを用いて,様々なデリゲートモードを比較する。
我々は、デリゲートが非デリゲートセットアップに対して一貫した精度の改善を提供しておらず、その効果はモデルやタスクによって異なることを発見した。
オーケストレータで使用できない知識を含むタスクでは、デリゲートは精度を著しく低下させ、同じLLMで直接ツールを使用する方がはるかに優れている。
我々の分析では、歪んだデリゲートクエリ、非効率なツールの使用、エージェント間の情報の保存と使用の失敗を、繰り返し発生する障害モードとして識別する。
これらの結果から,効果的なオーケストレーションには,適切に分類された委任決定とエージェント間の情報の効果的な交換が必要であることが示唆された。
関連論文リスト
- A Mechanistic Study of Automated Failure Attribution in LLM-based Agentic Systems [41.144393358436226]
エージェントは失敗を正しく属性付けるのに十分な情報をエンコードするが、責任あるステップを明示的に出力することができないことを示す。
我々は、AFAのパフォーマンスを改善するために、既にモデルに符号化された知識を活用する簡単な手作業による介入であるEmphgraftingを提案する。
論文 参考訳(メタデータ) (2026-10-20T18:33:19Z) - Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution [47.70578021328887]
大規模言語モデル(LLM)ベースのマルチエージェントシステムは、しばしば複雑な障害モードを示す。
AFANetは、ステップレベルの意味信号とエージェントレベルの関係を通して相互作用軌跡をモデル化する軽量なグラフベースのフレームワークである。
以上の結果から, エージェント障害の効果的な帰属は大きな推論を必要とせず, 軽量で構造化されたアプローチで高い性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2026-08-19T06:16:09Z) - Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7~39%増加させ、明確な質問を1.5~2.7$times$に減らした。
論文 参考訳(メタデータ) (2025-11-11T21:50:44Z) - Leveraging In-Context Learning for Language Model Agents [51.2996117207114]
インコンテキスト学習(ICL)と動的に選択されたデモは、大規模言語モデル(LLM)の柔軟性と、トレーニングデータを活用してパフォーマンスを向上させる能力を組み合わせたものだ。
実演における類似タスクの軌道選択は, LLMエージェントの性能, 信頼性, 堅牢性, 効率を著しく向上させることを示す。
より大規模なモデル(アノテーションフェーズ)から得られた実演により、より小さなモデルも改善され、ICLエージェントはよりコストのかかる訓練されたエージェントと競合する可能性がある。
論文 参考訳(メタデータ) (2025-06-16T05:37:49Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。
ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。
3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-03-05T15:08:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。