論文の概要: When Honesty is Not Enough in AI Debate

• arxiv url: http://arxiv.org/abs/2609.29189v1
• Date: Thu, 24 Sep 2026 08:00:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.785414
• Title: When Honesty is Not Enough in AI Debate
• Title（参考訳）: AIに関する議論で、正直さがあまりない時
• Abstract要約: 本稿では,戦略的対話的監視(SIO)の枠組みを導入し,監視を検証機構と戦略的コミュニケーションチャネルとして協調的に扱う。 タスク成功と隠れ変数に関する情報開示のトレードオフを定量化する。 以上の結果から,評定の正当性だけでなく,その書面を通じて伝達される情報によって,監視の度合いを評価する必要性が浮き彫りになった。
• 参考スコア（独自算出の注目度）: 7.469636847320509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scalable oversight aims to verify the behaviour of agents whose capabilities exceed those of their overseers. AI debate has been proposed as an oversight solution in which competing agents help a resource-limited verifier assess claims that it cannot reliably evaluate unaided. Much of its promise rests on incentivizing honest arguments that lead to correct verdicts. Yet a correct verdict need not uniquely determine the arguments used to support it. Agents may retain discretion over which correct claims to present, how to frame them, and in what order to disclose them. This residual freedom can allow agents to shape what the verifier learns beyond the task-relevant conclusion, pursuing latent objectives without compromising verdict correctness. To study this phenomenon, we introduce the framework strategic interactive oversight (SIO), which treats oversight jointly as a verification mechanism and a strategic communication channel. Within this framework, we formalise the notion of task-admissible latent optimisation, which entails the pursuit of latent objectives while maintaining a prescribed task performance. As proof-of-concept, we instantiate SIO in the establish protocol debate with cross-examination and quantify a tradeoff between task success and information disclosure about a hidden variable. The trade-off identifies a strategic window in which substantial disclosure remains compatible with task admissibility. Towards mitigation, we reduce admissible bias by expanding the cross-examiner's role to mitigate persistent disclosure over finite interaction horizons. Our results highlight the need to evaluate oversight not only by the correctness of its verdicts, but also by the information conveyed through its transcripts.
• Abstract（参考訳）: スケーラブルな監視は、監督者の行動を超える能力を持つエージェントの動作を検証することを目的としている。 AIの議論は、競合するエージェントがリソース制限された検証者を評価するのに役立てる監視ソリューションとして提案されている。 その約束の多くは、正しい評決につながる正直な議論のインセンティブにかかっている。 しかし、正しい判定は、それをサポートするために使用される引数をユニークに決定する必要はない。 エージェントは、どのクレームが存在するか、どのようにフレーム化するか、どの順序で開示するかについての判断を保持することができる。 この残余の自由は、検証者がタスク関連結論を超えることを学習し、検証の正しさを損なうことなく潜在目標を追求することができる。 本稿では,この現象を検証機構と戦略的コミュニケーションチャネルとして協調的に扱う,戦略的対話的監視(SIO)の枠組みを紹介する。 本枠組みでは,タスク許容型潜時最適化の概念を定式化し,タスク性能を維持しながら潜時目標を追求する。 概念実証として,タスク成功と隠れ変数の情報開示とのトレードオフを定量的に検証し,相互検査による確立プロトコルの議論においてSIOをインスタンス化する。 トレードオフは、重要な開示がタスク許容性と相容れない戦略的な窓を識別する。 緩和に向けて、有限相互作用地平線上での持続的開示を緩和するために、クロスエグゼクタナーの役割を拡大することで許容バイアスを減らす。 以上の結果から,評定の正当性だけでなく,その書面を通じて伝達される情報によって,監視の度合いを評価する必要性が浮き彫りになった。

関連論文リスト

• Selective Commitment for Language-Guided Object Retrieval under Partial Observability [1.582181611732474]
  部分的な可観測性の下での言語誘導オブジェクト検索では、より多くの証拠を集め、現場と対話し、候補者をつかむか、棄権するかを決定する必要がある。 参照コンテナに関連する対象を検索するために,これらの決定をコーディネートするクローズドループフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-19T16:59:07Z)
• Why2Speak: Faithful Reasoning for Abstaining Action Policies [0.19336815376402716]
  我々は,直接的な意思決定方針,推論方針,教師付き微調整,強化学習を比較した。 最強の直接政策はより高い品質を達成するが、検査する理由を示さない。 監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
  論文  参考訳（メタデータ） (2026-08-21T02:00:21Z)
• ReflectFact: Self-Reflective Agents for Improving Comprehension and Reasoning in Multi-Hop Fact Verification [10.886692231174358]
  マルチホップ事実検証は、ソーシャルメディア上の誤情報と戦うために重要である。 最近の手法は、事実検証を専門のサブタスクに分解するために、マルチエージェントのコラボレーションに依存している。 マルチホップ事実検証のための新しい自己表現型エージェントフレームワークであるReflectFactを提案する。
  論文  参考訳（メタデータ） (2026-08-13T06:41:56Z)
• The Deliberative Illusion: Diagnosing Factual Attrition and Stance Homogenization in Multi-Agent LLM Deliberation [68.98390038721963]
  問題クリティカルな事実の最大72%を,マルチエージェントによる議論で消し去ることを示す。 保持された証拠は誤解を招くことなく問題を再構築し、最終的なスタンスをベースモデルに固定し、単一の悪意のあるエージェントが誤った情報を共有コンテキストに注入することができる。 我々は、どの事実、不確実性、正当な不一致が相互作用を生き残るかを測定する評価を求める。
  論文  参考訳（メタデータ） (2026-06-02T02:15:40Z)
• AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents [0.2864713389096699]
  本稿では,AgentSecBenchを,この問題に対する正式なセキュリティフレームワークの実証的なインスタンス化として紹介する。 3つのゲーム・インストラクション・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)を定めている。 これは、承認された観察と能力に対するプロジェクションとしてのアプリケーションポリシーを表し、プロジェクションの即時アノテーションとプロジェクションの強化を区別し、敵のアドバンテージと、防衛が生成前に関連するモデル可視チャネルを閉鎖するかどうかを計測する。
  論文  参考訳（メタデータ） (2026-05-25T18:53:22Z)
• Verify Before You Commit: Towards Faithful Reasoning in LLM Agents via Self-Auditing [5.497064111008921]
  我々は,行動開始前のエージェントの内部信頼状態に対する検証を行う新しいフレームワークであるtextbfSelf-textbfAudited textbfVerified textbfReasoning (textscSAVeR)を提案する。 当社のアプローチは、競争力のあるエンドタスクのパフォーマンスを維持しながら、推論の忠実さを継続的に改善します。
  論文  参考訳（メタデータ） (2026-04-09T16:01:03Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Information Bargaining: Bilateral Commitment in Bayesian Persuasion [60.3761154043329]
  長期的説得のための統一的なフレームワークとよく構造化されたソリューションの概念を導入する。 この視点はゲーム構造の共通知識を明確にし、レシーバに匹敵するコミットメント能力を与える。 このフレームワークは、2段階の検証と推論のパラダイムによって検証される。
  論文  参考訳（メタデータ） (2025-06-06T08:42:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。