論文の概要: Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents
- arxiv url: http://arxiv.org/abs/2606.16364v1
- Date: Mon, 15 Jun 2026 07:58:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.167963
- Title: Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents
- Title（参考訳）: LLMエージェントにおけるツール選択失敗の注意-セグメンテーション
- Authors: Shiyang Chen,
- Abstract要約: LLMエージェントは誤呼ツールであり、自然の推測では、モデルは混み合ったハーネスで適切なツールを見られなかった。
レンズコンカレントな作業セットは別として、ラベル付きツール定義セグメントに対するモデルの注意を、その逆で示します。
- 参考スコア（独自算出の注目度）: 0.4855342112648282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents mis-call tools, and the natural guess is that the model failed to see the right tool in a crowded harness. We show the opposite through a lens concurrent work sets aside -- the model's attention to labeled tool-definition segments. On real BFCL failures, by per-candidate attention argmax the model attends most to the correct tool 80% of the time (vs. 21% chance), and the gold is the under-attended segment on only 10%: it looks at the right tool and still picks wrong. This directly refutes the intuitive "crowded-harness / lost-in-the-middle" explanation: the failure is at the decision readout, not the harness, and we pin it there three ways. (1) Input vs. readout: repairing the prompt (reordering or duplicating the gold tool) recovers <=23% of failures, while readout-side interventions recover 59-91%. (2) Representation-invariance: two gold-pointed interventions in different representations -- an additive attention-logit bias and a residual-stream steering vector -- recover largely the same failures (per-task Jaccard 0.865 pooled, 0.79-0.91 per model), so the bottleneck is localized to the readout independent of which representation is poked. (3) A training-free, gold-free selector: per-segment attention closes most of the gold-free-vs-oracle gap on BFCL (+11.9 pts pooled function-name selection vs. +17.9-pt oracle headroom) and adds +14.9 pts on Seal-Tools; every model positive (exact McNemar p<=8e-4 each). Scopes differ: the causal attention-bias dose-response is bidirectional and monotonic on 10 mask-honoring models (3-32B), the full 0.5-32B span carrying only the correlational diagnostic; the deployable selector is evaluated on 5 single-turn models and does not yet transfer to a multi-turn loop.
- Abstract（参考訳）: LLMエージェントは誤呼ツールであり、自然の推測では、モデルは混み合ったハーネスで適切なツールを見られなかった。
レンズコンカレントな作業セットは別として、ラベル付きツール定義セグメントに対するモデルの注意を、その逆で示します。
実際のBFCLの失敗では、候補ごとの注意 argmax によって、モデルは正しいツールの80% (vs.21% の確率) に最も近づき、ゴールドは10%にすぎません。
このことは直感的な"crowded-harness / lost-in-the-middle"の説明を直接否定する。
1) 入力対読み出し:プロンプトの修復(金具の並べ替えまたは複製)は失敗の23%を回復し、読み出し側の介入は59～91%を回復する。
2) 表現不変性: 異なる表現における2つの金点の介入 -- 追加の注意-論理バイアスと残留ストリームのステアリングベクトル -- は、ほとんど同じ障害(1モデル当たりのジャカード0.865プール、0.79-0.91プール)を回復するので、ボトルネックは表現がポークされた読み出し独立に局所化される。
(3) トレーニングフリーでゴールドフリーなセレクタ: セグメント毎の注意: BFCL(+11.9 ptsプール機能名選択対+17.9-ptoracleヘッドルーム)上の金フリーのvs-oracleギャップのほとんどを閉じ、シール・ツールに+14.9 ptsを追加し、全てのモデル正(それぞれMcNemar p<=8e-4)。
因果的注意バイアス線量応答は10のマスクホーニングモデル(3-32B)上で双方向で単調であり、完全な0.5-32Bスパンは相関診断のみを担い、デプロイ可能なセレクタは5つのシングルターンモデルで評価され、まだマルチターンループに移行していない。
関連論文リスト
- When the Tool Decides: LLM Agents Defer Blindly to Graph Neural Network Tools, and Stronger Backbones Defer More [10.283803346813047]
大規模言語モデル(LLM)エージェントにグラフニューラルネットワーク(GNN)をコール可能なツールとして装備する作業が増えている。
凍結したGNNをReActスタイルのLLMエージェントに明示的なツールとして公開し、テキスト分散グラフ上のノード分類で測定する。
その予測は生のGNNの97.6-99.2%の時間(5種)と一致している。
性能が向上し、代替手段が出現する場所で成長するにつれて、推論のコストは低下しない。
論文 参考訳（メタデータ） (2026-06-12T14:13:19Z) - PURGE: Projected Unlearning via Retain-Guided Erasure [5.069332646113575]
PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。
CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。
PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
論文 参考訳（メタデータ） (2026-06-02T15:53:01Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。
セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
論文 参考訳（メタデータ） (2026-05-31T19:27:22Z) - GCE-MIL: Faithful and Recoverable Evidence for Multiple Instance Learning in Whole-Slide Imaging [4.001315295826918]
多重インスタンス学習(MIL)は,WSI分類と生存予測の標準手法である。
GCE-MILは3つのインジェクションモードと3つのエビデンスコンポーネントによって実装されたバックボーンに依存しないラッパーである。
論文 参考訳（メタデータ） (2026-05-17T13:56:30Z) - Tool Calling is Linearly Readable and Steerable in Language Models [7.851713181228514]
ツール呼び出しエージェントが間違ったツールを選択すると、実行まで失敗は見えない。
Gemma 3、Qwen 3、Qwen 2.5、Llama 3.1の12の命令調整モデルを使用します。
選択したツールの同一性は、モデル内で線形で、管理可能であることが分かりました。
論文 参考訳（メタデータ） (2026-05-08T16:47:08Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳（メタデータ） (2026-04-13T06:42:24Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。
最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。
我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
論文 参考訳（メタデータ） (2025-04-07T02:42:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。