論文の概要: Black-Box Auditing of Epistemic Reliability in Multi-Agent Debate Distillation

• arxiv url: http://arxiv.org/abs/2609.32361v1
• Date: Sat, 26 Sep 2026 08:33:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:24:04.429981
• Title: Black-Box Auditing of Epistemic Reliability in Multi-Agent Debate Distillation
• Title（参考訳）: マルチエージェント脱ベント蒸留における耐てんかん性の評価
• Abstract要約: ディベート蒸留は、後続の議論における判断を改善するために、マルチエージェントの議論書き起こしを用いた弱い検証装置に適応する。 本研究では,隠れたタスクに対する正しい応答を抑えつつ,適応が監視性能を保ちながら,エピステマティックな信頼性劣化について検討した。 本研究では,2段階のブラックボックス監査フレームワークであるER-Auditを提案する。 実験の結果, 隠れタスクの精度は, 非劣化および低劣化境界に対する反例と共存できることがわかった。
• 参考スコア（独自算出の注目度）: 19.88070595796935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Debate distillation adapts weaker verifiers using multi-agent debate transcripts to improve their judgement in subsequent debates, but gains on monitored tasks do not establish reliability on related unmonitored tasks. We study epistemic reliability degradation, in which adaptation preserves monitored performance while reducing support for correct responses on hidden tasks. We consider an adversarial debater that manipulates debate arguments while defending the correct monitored response, and ask whether the resulting degradation merely reflects catastrophic forgetting and whether standard evaluation can detect it. To address these questions, we propose ER-Audit, a two-stage black-box auditing framework that compares frozen verifier checkpoints before and after adaptation, and introduce two evaluation benchmarks pairing monitored and hidden task prompts grounded in shared contexts. ER-Audit searches for counterexamples to non-degradation by evaluating semantically valid paraphrases and, if none is found, uses independent paraphrases for sequential hypothesis testing. We derive anytime-valid lower confidence bounds on the non-degradation probability, allowing data-dependent stopping within a finite budget. We further establish a common lower bound across fixed paraphrase distributions and extend it to distributions within a bounded total variation distance of their mixtures. Our experiments show that higher hidden-task accuracy can coexist with more counterexamples to non-degradation and lower non-degradation bounds. This divergence challenges explanations based solely on broad catastrophic forgetting and shows that auditing can uncover selective hidden-task degradation concealed by aggregate performance gains. Our code and benchmarks are available at https://github.com/CSIRO-CQS-AI-alignment-Team/Epistemic-Reliability-Auditor.
• Abstract（参考訳）: ディベート蒸留は、その後の議論における判断を改善するために、マルチエージェントの議論書を用いた弱い検証器を適用するが、監視されたタスクで得られることは、関連する監視されていないタスクの信頼性を確立するものではない。 本研究では,隠れたタスクに対する正しい応答を抑えつつ,適応が監視性能を保ちながら,エピステマティックな信頼性劣化について検討した。 本稿では、正しい監視された応答を守りながら議論の議論を操る敵対的討論者について考察し、結果の劣化が破滅的な忘れを単に反映しているだけなのか、そして標準評価がそれを検出できるのかを問う。 これらの問題に対処するため,2段階のブラックボックス監査フレームワークであるER-Auditを提案する。 ER-Auditは、意味論的に有効なパラフレーズを評価することによって、非劣化に対する反例を検索し、もし見つからなかったとしても、シーケンシャル仮説テストに独立したパラフレーズを使用する。 非劣化確率で有意な低信頼境界を導出し、有限予算内でデータ依存的な停止を可能にする。 さらに、固定されたパラフレーズ分布にまたがる共通下界を確立し、それらの混合物の有界全変動距離内の分布に拡張する。 実験の結果, 隠れタスクの精度は, 非劣化および低劣化境界に対する反例と共存できることがわかった。 このばらつきは, 広範な破滅的記憶のみに基づく説明に挑戦し, 総合的な性能向上によって隠蔽された隠蔽タスクの劣化を監査が発見できることを示唆している。 コードとベンチマークはhttps://github.com/CSIRO-CQS-AI-alignment-Team/Epistemic-Reliability-Auditorで公開されています。

関連論文リスト

• Towards Mitigating Fabricated Consensus: The Active Provenance Gate for Multi-Agent Debate Synthesis [0.0]
  本稿では,アクティブなポスト議論検証の導入が,事実に欠かせない要約の制作を緩和できるかどうか,実証研究と研究について述べる。 危機シミュレーションでは、自己修復メカニズムは平均的なデータProvenance Fidelityを2倍以上にします。 人間の研究では、大多数のユーザーは批判的なシナリオで失敗を明示するレポートを好んだ。
  論文  参考訳（メタデータ） (2026-09-25T15:44:18Z)
• Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
  大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。 しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。 本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
  論文  参考訳（メタデータ） (2026-09-17T18:28:45Z)
• Trust but Verify: Prover-Verifier Deliberation for Selective LLM Prediction [4.273094752480624]
  本稿では,対話的証明理論に基づく推論時間プロトコルであるPVDを導入する。 PVDは回答と構造化された信頼判定の両方を生成し、システムは不確実なケースを棄却しながら高信頼の回答を報告できる。
  論文  参考訳（メタデータ） (2026-05-24T15:23:27Z)
• Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
  Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。 本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:45:16Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• Courtroom-Style Multi-Agent Debate with Progressive RAG and Role-Switching for Controversial Claim Verification [2.464003792743989]
  大型言語モデル (LLM) は、幻覚や浅い推論のため、高い精度のクレーム検証には信頼できないままである。 本稿では, 検証を構造化された, 反対の審議会として再編成する, 裁判所方式のマルチエージェントフレームワーク PROClaim を提案する。 提案手法は,プログレッシブRAG (Progressive RAG, P-RAG) と特別な役割(プレーンティフ, ディフェンス, ジャッジ)を統合し, 議論の間, 証拠プールを動的に拡大・洗練する。
  論文  参考訳（メタデータ） (2026-03-30T14:23:15Z)
• Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
  我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。 プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
  論文  参考訳（メタデータ） (2026-01-23T17:17:32Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。