論文の概要: MCAIR: Monitoring and Correcting Agent Unfaithfulness via Internal Representations

• arxiv url: http://arxiv.org/abs/2610.19679v1
• Date: Wed, 14 Oct 2026 07:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.995626
• Title: MCAIR: Monitoring and Correcting Agent Unfaithfulness via Internal Representations
• Title（参考訳）: MCAIR:内部表現によるエージェントの不信感のモニタリングと修正
• Abstract要約: LLM(Large Language Model)ベースのエージェントは、最終的なレポートが実際の実行軌跡を忠実に反映していない不誠実な振る舞いを示すことができる。 LLMエージェントの内部表現を活用するランタイム監視・修正フレームワークMCAIRを提案する。 実験により、MCAIRはLSM-as-a-judgeベースラインより優れ、プロンプトとタスクをまたいで一般化し、エージェントの完了を効果的に抑制することが示された。
• 参考スコア（独自算出の注目度）: 13.951743753354807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM)-based agents have demonstrated remarkable capabilities in completing complex tasks through multi-step reasoning and tool interactions. However, recent studies have revealed that LLM-based agents can exhibit unfaithful behaviors, where their final reports fail to faithfully reflect their actual execution trajectories. Specifically, when agents fail to accomplish tasks through the intended sources or procedures, they may resort to alternative sources or strategies while failing to disclose such deviations, leading users to incorrectly believe that the tasks have been completed according to the original requirements. We refer to this specific form of agent unfaithfulness as Agent Completion Unfaithfulness. Detecting and mitigating agent completion unfaithfulness is critical yet remains largely unexplored. In this work, we propose MCAIR, a runtime monitoring and correction framework that leverages internal representations of LLM-based agents. MCAIR uses multi-step internal representations as inputs to train a risk-aware probe, enabling online detection of potential completion unfaithfulness during execution. Furthermore, MCAIR introduces a risk-guided correction loop that prompts agents to review their execution history and mitigate potential inconsistencies between their execution trajectories and final reports. Additionally, we construct ACUD, a dataset for Agent Completion Unfaithfulness detection that provides step-level execution traces, step-level internal representations, and consistency annotations for training and evaluating runtime detection probes. Experiments demonstrate that MCAIR outperforms LLM-as-a-judge baselines, generalizes across prompts and tasks, and effectively reduces agent completion unfaithfulness.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づくエージェントは、多段階の推論とツールインタラクションによって複雑なタスクを完了させる際、顕著な能力を示した。 しかし、最近の研究では、LSMをベースとしたエージェントは、最終的な報告が実際の実行軌跡を忠実に反映していない不誠実な行動を示す可能性があることが明らかになっている。 具体的には、エージェントが意図したソースや手順でタスクを達成できなかった場合、彼らはそのような逸脱を公表せず、代替のソースや戦略に頼り、元の要件に従ってタスクが完了したと誤って信じてしまう。 エージェント・コンプリート・アンフェレントネスはエージェント・コンプリート・アンフェレントネス(Agens Completion Unfaithfulness)と呼ばれる。 不誠実なエージェントの完成を検知し緩和することは重要であるが、ほとんど未解明のままである。 本研究では, LLM エージェントの内部表現を活用するランタイム監視・修正フレームワーク MCAIR を提案する。 MCAIRは、複数のステップの内部表現を入力として、リスク認識プローブをトレーニングし、実行中の潜在的完了の不信をオンラインで検出する。 さらに、MCAIRはリスク誘導補正ループを導入し、エージェントが実行履歴をレビューし、実行軌跡と最終報告の間の潜在的な不整合を緩和する。 さらに、ステップレベルの実行トレース、ステップレベルの内部表現、ランタイム検出プローブのトレーニングと評価のための一貫性アノテーションを提供する、Agen Completion Unfaithfulness DetectionのデータセットであるACUDを構築する。 実験により、MCAIRはLSM-as-a-judgeベースラインより優れ、プロンプトとタスクをまたいで一般化し、エージェントの完了を効果的に抑制することが示された。

関連論文リスト

• Towards Risk-free AI Agent Deployment [13.502827903528948]
  我々は、リスクフリーなデプロイメントはエージェントの軌道に根ざしていなければならないと論じる。 この記事では、オラクル問題を含むテストエージェントの課題から始めます。 これらの方向を実際の展開可読性チェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-08-17T11:07:07Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• ORAgentBench: Can LLM Agents Solve Challenging Operations Research Tasks End to End? [28.383940617377856]
  ORAgentBenchは、自律エージェントを運用研究タスクで評価するための実行基盤ベンチマークである。 さまざまな運用シナリオにまたがる107のヒューマンレビュータスクが含まれており、それぞれに自然言語で簡潔な複数ファイルデータ、設定アーティファクト、必要なスキーマがパッケージされている。 14のフロンティアエージェントモデルによる実験では、現在のエージェントは信頼性の高いORの実践から程遠いままである。
  論文  参考訳（メタデータ） (2026-06-18T04:43:23Z)
• Agent-ToM: Learning to Monitor Autonomous LLM Agents via Theory-of-Mind Reasoning [11.914433611519359]
  不正行為を隠蔽する自律型大規模言語モデル(LLM)エージェントの監視は、遅延、コンテキスト依存、長期攻撃パターンのために困難である。 自律エージェントのセキュリティ分析を前提とした学習監視フレームワークである textbfAgent-ToM を提案する。
  論文  参考訳（メタデータ） (2026-05-22T20:57:20Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
  大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。 しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。 本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:09:35Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• AgentV-RL: Scaling Reward Modeling with Agentic Verifier [63.55502685076245]
  試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。 本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。 Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2026-04-17T12:27:36Z)
• TrajAD: Trajectory Anomaly Detection for Trustworthy LLM Agents [47.147717604167376]
  効率的なロールバック・アンド・リトライを実現するために必要な軌道異常検出 汎用LSMはこれらの異常を識別し、ローカライズするのに苦労する。 細粒度プロセス監視を訓練した特殊検証器であるTrajADを提案する。
  論文  参考訳（メタデータ） (2026-02-06T07:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。