論文の概要: Triggers and Diagnostics for LLM-Based Interpretability Failures in Active Inference Agents
- arxiv url: http://arxiv.org/abs/2609.23215v1
- Date: Sat, 19 Sep 2026 21:10:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.729085
- Title: Triggers and Diagnostics for LLM-Based Interpretability Failures in Active Inference Agents
- Title(参考訳): アクティブ推論エージェントにおけるLCMに基づく解釈可能性障害のトリガーと診断
- Abstract要約: LLMの説明者は、実行時監視として自律エージェントにますますアタッチされる。
アカウント自体を監査し、ドイツのグリッド需要を追跡し、3つのバックエンド上のLCM説明器で生成を調整するアクティブ推論(AIF)エージェントをペアリングする。
観測ストリームを1歩あたり600 MWで破壊すると、エージェントの後部を490 MW、グリッド容量の約0.9%の速度で移動させる。
- 参考スコア(独自算出の注目度): 0.19116784879310023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM explainers are increasingly attached to autonomous agents as runtime oversight, with operators reading a generated account of the agent's beliefs and actions rather than its internal state. We audit the account itself, pairing an Active Inference (AIF) agent that tracks German grid demand and adjusts generation with an LLM explainer on three backends (GPT-4o, Claude-3-Opus, Gemini), and probing the pair with three black-box triggers. Corrupting the observation stream by 600 MW per step moves the agent's posterior by 490 MW, roughly 0.9% of grid capacity. None of the 30 explanations produced during the injection flag anything under a stated rubric, and each narrates the corrupted belief fluently. On timesteps where the agent takes an objectively wrong action, all three explainers produce a sycophantic rationalization 80-95% of the time (n = 20 per backend). Attacker-controlled text in the observation metadata field steers the explainer, with susceptibility differing by provider and data exfiltration succeeding on all three. We propose mitigations for each failure but do not evaluate them. In every failure we observed, the explanation was fluent and wrong. Moreover, nothing in the explainer architecture checks whether an explanation is true before an operator acts on it. Testing the explainer therefore belongs in any audit of an agentic deployment.
- Abstract(参考訳): LLMの説明者は、オペレーターが内部状態ではなく、エージェントの信念と行動の生成された説明を読み取るように、実行時監視として自律エージェントにアタッチされることが増えている。
アカウント自体を監査し、ドイツのグリッド需要を追跡して、3つのバックエンド(GPT-4o、Claude-3-Opus、Gemini)上のLCM説明器で生成を調整するアクティブ推論(AIF)エージェントをペアリングし、3つのブラックボックストリガでペアを探索する。
観測ストリームを1歩あたり600 MWで破壊すると、エージェントの後部を490 MW、グリッド容量の約0.9%の速度で移動させる。
射出フラグで作成された30の説明はいずれも、記述されたルーリックの下で何も説明されず、それぞれが腐敗した信条を流布している。
エージェントが客観的に間違った行動を取る時間ステップでは、3つの説明者が80-95%の時間(バックエンド毎にn = 20)でサイコファン的合理化を生成する。
観察メタデータフィールドのアタッカー制御されたテキストは、説明者を操り、プロバイダによって感受性が異なり、3つすべてでデータ消去が成功する。
各障害に対する軽減策を提案するが、評価はしない。
私たちが観察したすべての失敗において、説明は流動的で間違ったものだった。
さらに、説明者アーキテクチャでは、オペレータがそれを行う前に説明が真実かどうかをチェックするものはない。
したがって、説明書をテストすることは、エージェントデプロイメントの監査に属する。
関連論文リスト
- Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
反射型エージェントは、反復的な自己批判を通じて、すでに危険な計画ステップを検出している。
監査は問題を認識し、コントローラはそれを無視します。
実施確率がゼロに近い場合、検出品質はセキュリティとは無関係であることを正式に証明する。
論文 参考訳(メタデータ) (2026-09-14T09:46:59Z) - The LLM Proposes, the Executive Disposes: A Self-Verifying Agent Instrument that Dissociates Commitment Drift from Binding Drift in Long-Horizon Agents [0.0]
本稿では,ポストホックではなく構造的検証を行うためのエージェント機器を提案する。
組織ごとの書き込みエラー、レンダリングサイズ、あるいは塩漬けのカナリアエチョフロアが破られた場合、実行はすべて無効になる。
長期のエージェントが苦しむたびに、クリーンでシングル変数の結果が報告される。
論文 参考訳(メタデータ) (2026-08-04T15:10:37Z) - Detection, Attribution, Narration: An End-to-End Pipeline for Explainable Money Mule Identification [7.67050251421177]
マネーミュール口座は金融詐欺の重要なファシリテーターである。
顧客レベルのミュール検出のためのエンドツーエンドパイプラインを提案する。
大規模言語モデル(LLM)モジュールは、SHAP属性を分析対象の自然言語の物語に変換する。
論文 参考訳(メタデータ) (2026-07-20T06:05:57Z) - Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。
2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。
我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
論文 参考訳(メタデータ) (2026-06-01T10:50:26Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Invisible Orchestrators Suppress Protective Behavior and Dissociate Power-Holders: Safety Risks in Multi-Agent LLM Systems [0.0]
オーケストラの可視性の安全性は、経験的に検証されたことはない。
3つの組織構造を横断する3x2実験を事前登録した。
目に見えない 組織的解離 可視的指導力に対する
論文 参考訳(メタデータ) (2026-03-17T03:18:57Z) - DLLM Agent: See Farther, Run Faster [94.74432470237817]
拡散大言語モデル(DLLM)は、自己回帰(AR)デコーディングの代替として、魅力的な効率とモデリング特性を持つ。
我々は、DLLMとARのバックボーンを同一のエージェントワークフロー内でインスタンス化することで、制御された環境でこれを研究する。
DLLMエージェントはARエージェントよりも平均30%以上速く、場合によっては8倍のスピードアップを達成している。
論文 参考訳(メタデータ) (2026-02-07T09:01:18Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳(メタデータ) (2025-11-26T01:28:22Z) - Interact-RAG: Reason and Interact with the Corpus, Beyond Black-Box Retrieval [49.85856484781787]
本稿では,ILMエージェントを検索プロセスのアクティブマニピュレータに高める新しいパラダイムであるInteract-RAGを紹介する。
我々は、ゼロショット実行と相互作用軌跡の合成を可能にする推論強化ワークフローを開発する。
6つのベンチマーク実験により、Interact-RAGは他の高度な手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2025-10-31T15:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。