論文の概要: To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents
- arxiv url: http://arxiv.org/abs/2605.18882v1
- Date: Sat, 16 May 2026 04:18:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:08.771937
- Title: To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents
- Title(参考訳): LLM薬剤の内因性過剰輸送バイアスの診断
- Authors: Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou,
- Abstract要約: LLMエージェントは、必要のない状況でも、オーバーコール、呼び出しツールに一貫した傾向を示す。
我々はこれを本態性バイアス仮説(IBH)に辿る。
我々の研究は、経験的現象から因果的補正が可能な機械的対象への過度な呼び出しをリキャストする。
- 参考スコア(独自算出の注目度): 43.812977635599374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents exhibit a consistent tendency to over-call, invoking tools even in situations where none is needed. On the When2Call benchmark, six models from three families show high call accuracy but much lower no-call accuracy, leaving overall accuracy in the 55%-70% range. We trace this to an Intrinsic Bias Hypothesis (IBH): the call/no-call decision mapping carries an activation-independent call offset, so the model favors call even at activation parity. Using Sparse Autoencoders (SAEs), we recover behavior-aligned feature bases for the call/no_call decision, reduce them to a signed activation margin, and estimate the offset directly. Across all six models, the model is decision-neutral only when no_call activation outweighs call activation, consistent with IBH. We then causally test IBH with Adaptive Margin-Calibrated Steering (AMCS), a closed-form counter-bias shift along SAE decoder directions. Cancelling the diagnosed offset mitigates over-calling and improves overall accuracy with a negligible drop in call accuracy. Our work recasts over-calling from an empirical phenomenon into a mechanistic object amenable to causal correction. Code is available at https://github.com/SKURA502/agent-sae/.
- Abstract(参考訳): LLMエージェントは、必要のない状況でも、オーバーコール、呼び出しツールに一貫した傾向を示す。
When2Callベンチマークでは、3つのファミリーの6つのモデルが高い呼び出し精度を示すが、呼び出しなしの精度ははるかに低く、全体的な精度は55%-70%である。
コール/ノーコール決定マッピングは、アクティベーション非依存のコールオフセットを持ち、アクティベーションパリティにおいても呼び出しが好まれる。
Sparse Autoencoders (SAEs) を用いて、呼び出し/no_call決定のための振る舞い整列機能ベースを復元し、署名されたアクティベーションマージンに還元し、オフセットを直接見積もる。
6つのモデル全体で、モデルは決定ニュートラルであり、no_call アクティベーションが IBH と一致する呼び出しアクティベーションを上回る場合のみである。
そこで我々は,SAEデコーダ方向の正方形逆バイアスシフトであるAdaptive Margin-Calibrated Steering (AMCS)を用いてIBHを因果的に試験した。
診断されたオフセットのキャンセルはオーバーコールを緩和し、呼び出し精度の低下を無視して全体的な精度を向上させる。
我々の研究は、経験的現象から因果的補正が可能な機械的対象への過度な呼び出しをリキャストする。
コードはhttps://github.com/Skura502/agent-sae/で入手できる。
関連論文リスト
- ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。
有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
論文 参考訳(メタデータ) (2026-05-18T20:06:04Z) - TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。
本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。
具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
論文 参考訳(メタデータ) (2026-05-07T10:24:27Z) - Knowing but Not Correcting: Routine Task Requests Suppress Factual Correction in LLMs [26.062372963777452]
LLMは、独立して提示された時に確実に偽のクレームを訂正するが、同じクレームがタスク指向のリクエストに埋め込まれている場合、そのクレームは正しいというよりも、従うことが多い。
我々は、この障害モードの誤り訂正を抑え、300の偽の前提のベンチマークを構築し、8つのモデルで体系的に評価する。
抑制率は19%から90%で、4つのモデルが80%を超え、修正抑制が一般的で深刻な現象として確立された。
論文 参考訳(メタデータ) (2026-05-07T10:04:39Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳(メタデータ) (2026-04-11T10:47:22Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Pseudo2Real: Task Arithmetic for Pseudo-Label Correction in Automatic Speech Recognition [61.712328155788434]
現実世界のシステムは、ラベル付きデータに制限のある、目に見えないアクセントとドメインに遭遇する。
擬似ラベルは、しばしばフィルタリングが修正に失敗するシステマティックでアクセント固有のエラーをもたらす。
そこで本研究では,これらの繰り返しバイアスを目的の真理を含まない簡単なパラメータ空間補正を提案する。
論文 参考訳(メタデータ) (2025-10-09T10:31:47Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳(メタデータ) (2025-05-17T04:16:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。