論文の概要: To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents
- arxiv url: http://arxiv.org/abs/2605.18882v1
- Date: Sat, 16 May 2026 04:18:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:08.771937
- Title: To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents
- Title(参考訳): LLM薬剤の内因性過剰輸送バイアスの診断
- Abstract要約: LLMエージェントは、必要のない状況でも、オーバーコール、呼び出しツールに一貫した傾向を示す。
我々はこれを本態性バイアス仮説(IBH)に辿る。
我々の研究は、経験的現象から因果的補正が可能な機械的対象への過度な呼び出しをリキャストする。
- 参考スコア(独自算出の注目度): 43.812977635599374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents exhibit a consistent tendency to over-call, invoking tools even in situations where none is needed. On the When2Call benchmark, six models from three families show high call accuracy but much lower no-call accuracy, leaving overall accuracy in the 55%-70% range. We trace this to an Intrinsic Bias Hypothesis (IBH): the call/no-call decision mapping carries an activation-independent call offset, so the model favors call even at activation parity. Using Sparse Autoencoders (SAEs), we recover behavior-aligned feature bases for the call/no_call decision, reduce them to a signed activation margin, and estimate the offset directly. Across all six models, the model is decision-neutral only when no_call activation outweighs call activation, consistent with IBH. We then causally test IBH with Adaptive Margin-Calibrated Steering (AMCS), a closed-form counter-bias shift along SAE decoder directions. Cancelling the diagnosed offset mitigates over-calling and improves overall accuracy with a negligible drop in call accuracy. Our work recasts over-calling from an empirical phenomenon into a mechanistic object amenable to causal correction. Code is available at https://github.com/SKURA502/agent-sae/.
- Abstract(参考訳): LLMエージェントは、必要のない状況でも、オーバーコール、呼び出しツールに一貫した傾向を示す。
When2Callベンチマークでは、3つのファミリーの6つのモデルが高い呼び出し精度を示すが、呼び出しなしの精度ははるかに低く、全体的な精度は55%-70%である。
コール/ノーコール決定マッピングは、アクティベーション非依存のコールオフセットを持ち、アクティベーションパリティにおいても呼び出しが好まれる。
Sparse Autoencoders (SAEs) を用いて、呼び出し/no_call決定のための振る舞い整列機能ベースを復元し、署名されたアクティベーションマージンに還元し、オフセットを直接見積もる。
6つのモデル全体で、モデルは決定ニュートラルであり、no_call アクティベーションが IBH と一致する呼び出しアクティベーションを上回る場合のみである。
そこで我々は,SAEデコーダ方向の正方形逆バイアスシフトであるAdaptive Margin-Calibrated Steering (AMCS)を用いてIBHを因果的に試験した。
診断されたオフセットのキャンセルはオーバーコールを緩和し、呼び出し精度の低下を無視して全体的な精度を向上させる。
我々の研究は、経験的現象から因果的補正が可能な機械的対象への過度な呼び出しをリキャストする。
コードはhttps://github.com/Skura502/agent-sae/で入手できる。
関連論文リスト
- Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。
複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
論文 参考訳(メタデータ) (2026-09-01T09:08:15Z) - Adaptive Triggering for Bias Correction in LLM Reasoning [11.48742254002371]
チェーン・オブ・シークレット・プロンプトは、LSMの中間的推論の中で、階層的ステレオタイプを公開および増幅することができる。
この決定をオンライン変更点検出問題として定式化する。
我々は,次の確率から導かれるホワイトボックス信号とLCM判定器から得られるブラックボックス信号とを用いて,フレームワークをインスタンス化する。
論文 参考訳(メタデータ) (2026-08-26T05:08:35Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳(メタデータ) (2026-07-30T16:22:13Z) - Denoising Iterative Self-Correction: Structured Verification Loops for Reliable LLM Reasoning [5.634990956257954]
大規模言語モデルでは、流動的だがしばしば誤った多段階推論が生成され、単純補正法は、既に正しい答えを劣化させるリスクがある。
Denoising Iterative Self-Correction (DISC) は、検証された質問の出力を、解の破損箇所のノイズ測定として扱うテストタイムプロシージャである。
二分判定ゲートは、検証器と修正器が共に修理誤差を補う間、既に正しい答えを損なうような書き直しをブロックすることで補正精度を制御する。
論文 参考訳(メタデータ) (2026-06-19T20:23:14Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳(メタデータ) (2026-06-04T07:27:53Z) - ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。
有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
論文 参考訳(メタデータ) (2026-05-18T20:06:04Z) - TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。
本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。
具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
論文 参考訳(メタデータ) (2026-05-07T10:24:27Z) - Knowing but Not Correcting: Routine Task Requests Suppress Factual Correction in LLMs [26.062372963777452]
LLMは、独立して提示された時に確実に偽のクレームを訂正するが、同じクレームがタスク指向のリクエストに埋め込まれている場合、そのクレームは正しいというよりも、従うことが多い。
我々は、この障害モードの誤り訂正を抑え、300の偽の前提のベンチマークを構築し、8つのモデルで体系的に評価する。
抑制率は19%から90%で、4つのモデルが80%を超え、修正抑制が一般的で深刻な現象として確立された。
論文 参考訳(メタデータ) (2026-05-07T10:04:39Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳(メタデータ) (2026-04-11T10:47:22Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Pseudo2Real: Task Arithmetic for Pseudo-Label Correction in Automatic Speech Recognition [61.712328155788434]
現実世界のシステムは、ラベル付きデータに制限のある、目に見えないアクセントとドメインに遭遇する。
擬似ラベルは、しばしばフィルタリングが修正に失敗するシステマティックでアクセント固有のエラーをもたらす。
そこで本研究では,これらの繰り返しバイアスを目的の真理を含まない簡単なパラメータ空間補正を提案する。
論文 参考訳(メタデータ) (2025-10-09T10:31:47Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳(メタデータ) (2025-05-17T04:16:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。