論文の概要: When Does Correction Become Repair? Mechanistic Auditing of Internal Interventions in Tool-Using LLMs
- arxiv url: http://arxiv.org/abs/2609.36138v1
- Date: Mon, 28 Sep 2026 19:12:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.96541
- Title: When Does Correction Become Repair? Mechanistic Auditing of Internal Interventions in Tool-Using LLMs
- Title(参考訳): 矯正はいつ修復されるか : 工具用LDMの内部介入の機械的監査
- Abstract要約: SAKIKOは、方向誤差発見、ルータ条件の介入、目的地解決の検証、そして将来的な凍結した統計ライセンスによる表現修復を形式化する。
指向性エラー発見, ルータ条件による介入, 目的地解決による検証, 凍結した統計的ライセンスによる表現修復を形式化する監査フレームワークであるSakikoを提案する。
- 参考スコア(独自算出の注目度): 8.86278433153811
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Before invoking external tools, an agentic LLM must select among a K-way action space: executing a call, seeking clarification, answering directly, or declining. While internal activation steering can alter these pre-execution decisions, conventional aggregate metrics obscure where altered states land and what collateral damage they inflict. We present SAKIKO, an auditing framework that formalizes representation repair via directional error discovery, router-conditioned intervention, destination-resolved verification, and prospectively frozen statistical licensing. Across seven LLMs on When2Call and MetaTool, channel-keyed interventions induce direction-specific net gains in five models; across three sealed evaluations, none of 59 budget-matched random directions matches calibrated target gain. Crucially, destination auditing shows that behavioral movement does not equal repair: an intervention achieving +55 net gain corrupts over half of the baseline-correct decisions it touches, and promising point estimates on Qwen3-4B and Gemma-2-9B are formally declined due to finite-sample uncertainty. SAKIKO establishes the necessity of outcome-resolved adjudication before claiming internal repair. Code: https://github.com/ruizheliUOA/mechanistic-tool-use-llm.
- Abstract(参考訳): 外部ツールを呼び出す前に、エージェントLLMは、呼び出しの実行、明確化の追求、直接応答、あるいは減少といったKウェイアクション空間を選択する必要がある。
内部のアクティベーションステアリングは、これらの事前実行の決定を変えることができるが、従来の集計指標では、変更された状態がどこに上陸し、それらが引き起こす損害は明らかでない。
指向性エラー発見, ルータ条件による介入, 目的地解決による検証, 凍結した統計的ライセンスによる表現修復を形式化する監査フレームワークであるSakikoを提案する。
When2CallとMetaToolの7つのLCMで、チャネルキーによる介入は5つのモデルで方向特化ネットゲインを誘導する。
重要な点として、目的地監査は行動運動が修復に等しくないことを示し、55のネットゲインを達成する介入はベースラインの正しい判断の半分以上を腐敗させ、Qwen3-4B と Gemma-2-9B の有望な点推定は有限サンプルの不確実性により正式に減少する。
佐紀子(さきこ)は、内部修復を主張する前に、結果解決の判断の必要性を確立する。
コード:https://github.com/ruizheliUOA/mechanistic-tool-use-llm。
関連論文リスト
- ObserverBench: Testing Mechanistic Estimates for Intervention and Control [0.0]
機械的解釈可能性(Mechanistic interpretability)は、活性化ステアリング、回路除去、安全監視などの介入を導くためにますます用いられる。
ObserverBenchは、内部推定器が、それが指示する介入、制御、安全タスクに適切かどうかをテストするためのベンチマークフレームワークである。
ベンチマークは、選択された動作による損失とは別途、推定精度を報告する。
論文 参考訳(メタデータ) (2026-09-02T18:01:17Z) - Calibration Is Not Control: Why LLM-Agent Oversight Needs Intervention [14.376426170653707]
2つのトラジェクトリプレフィックスは、異なるアクションを必要とする間、同じリスク見積を持つことができる。
我々は、このミスマッチをターゲットエラーとして形式化し、介入の利点を特定する。
論文 参考訳(メタデータ) (2026-06-19T13:08:17Z) - Preemptive Detection and Correction of Misaligned Actions in LLM Agents [58.39520480675366]
InferActは、実行前に不整合アクションを検出する新しいアプローチである。
タイムリーな修正をユーザーに警告し、有害な結果を防ぐ。
InferActは、ミスアライメントされたアクション検出におけるベースラインに対するMarco-F1の最大20%の改善を実現している。
論文 参考訳(メタデータ) (2024-07-16T15:24:44Z) - Lyra: Orchestrating Dual Correction in Automated Theorem Proving [63.115422781158934]
Lyraは新しいフレームワークで、ツール補正とConjecture Correctionという2つの異なる補正メカニズムを採用している。
ツール補正は幻覚の緩和に寄与し、それによって証明の全体的な精度が向上する。
Conjecture Correctionは命令で生成を洗練させるが、ペア化された(生成、エラー、改善)プロンプトは収集しない。
論文 参考訳(メタデータ) (2023-09-27T17:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。