論文の概要: Towards Scalable Oversight with Collaborative Multi-Agent Debate in Error Detection

• arxiv url: http://arxiv.org/abs/2510.20963v1
• Date: Thu, 23 Oct 2025 19:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.34948
• Title: Towards Scalable Oversight with Collaborative Multi-Agent Debate in Error Detection
• Title（参考訳）: 誤り検出における協調的マルチエージェント議論によるスケーラブルな監視に向けて
• Authors: Yongqiang Chen, Gang Niu, James Cheng, Bo Han, Masashi Sugiyama,
• Abstract要約: 自己診断は、信頼できる外部からのフィードバックがなければ、複雑なタスクでは信頼できない。 我々は,新たなコラボレーティブMADプロトコルであるColMADを導入し,MADを非ゼロ和ゲームとして再構成する。 ColMADは従来の競合MADよりも19%優れていた。
• 参考スコア（独自算出の注目度）: 81.52796950244705
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Accurate detection of errors in large language models (LLM) responses is central to the success of scalable oversight, or providing effective supervision to superhuman intelligence. Yet, self-diagnosis is often unreliable on complex tasks unless aided by reliable external feedback. Multi-agent debate (MAD) seems to be a natural alternative to external feedback: multiple LLMs provide complementary perspectives and cross-checks for error detection. However, prior MAD protocols frame debate as a zero-sum game, where the debaters compete to win the game instead of seeking the truth. Consequently, it leads to debate hacking: debaters tend to mislead the judge by misinterpreting the task or presenting overconfident claims, which introduce more mistakes and underperform single-agent methods. To mitigate the issue, we introduce a new collaborative MAD protocol, termed ColMAD, that reframes MAD as a non-zero sum game. Specifically, ColMAD encourages multiple agents to criticize each other in a supportive way, such that they can complement the missing points of each other. Therefore, the judge agent can make a more informative conclusion based on more comprehensive evidence. Empirically, we show that ColMAD significantly outperforms previous competitive MAD by 19% and brings non-trivial improvements over single-agent methods in error detection.
• Abstract（参考訳）: 大規模言語モデル(LLM)応答における誤りの正確な検出は、スケーラブルな監視の成功、あるいは超人的知性に対する効果的な監視の中心である。 しかし、自己診断は、信頼できる外部からのフィードバックがなければ、複雑なタスクでは信頼できないことが多い。 マルチエージェントの議論(MAD)は、外部からのフィードバックの自然な代替であり、複数のLLMが相補的な視点とエラー検出のためのクロスチェックを提供する。 しかし、MADプロトコル以前の議論はゼロサムゲームであり、議論者は真実を求めるのではなく、ゲームに勝つために競う。 議論者は、タスクを誤解したり、自信過剰なクレームを提示することで、裁判官を誤解させがちである。 この問題を軽減するため,新たなコラボレーティブMADプロトコルであるColMADを導入し,MADを非ゼロ和ゲームとして再構成する。 特に、ColMADは複数のエージェントがお互いの欠落点を補うように、支援的な方法でお互いを批判することを奨励している。 したがって、審査員はより包括的な証拠に基づいてより情報的な結論を下すことができる。 実験により,ColMADは従来の競合MADよりも19%向上し,エラー検出における単一エージェント法よりも非自明な改善がもたらされた。

関連論文リスト

• Free-MAD: Consensus-Free Multi-Agent Debate [17.384699873512464]
  マルチエージェント討論(MAD)は、大規模言語モデル(LLM)の推論能力を改善するための新しいアプローチである。 既存のMADメソッドは、合意に達するためにエージェント間の複数ラウンドの相互作用に依存しており、最終的な出力は前回のラウンドで多数決によって選択される。 エージェント間のコンセンサスを必要としない新しいMADフレームワークであるtextscFree-MADを提案する。
  論文  参考訳（メタデータ） (2025-09-14T01:55:01Z)
• Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models? [13.569822165805851]
  マルチエージェント・ディベート(MAD)は,大規模言語モデルの性能向上のための,有望なパラダイムとして登場した。 近年の進歩にもかかわらず、MADの有効性を左右する重要な要因はいまだ不明である。 我々はMajority VotingとInter-agent Debateの2つの重要なコンポーネントにMADを分解し、それぞれのコントリビューションを評価する。
  論文  参考訳（メタデータ） (2025-08-24T22:14:32Z)
• Revisiting Multi-Agent Debate as Test-Time Scaling: A Systematic Study of Conditional Effectiveness [50.29739337771454]
  マルチエージェントの議論(MAD)アプローチは、モノリシックモデルに対する推論、堅牢性、多様な視点を提供する。 本稿では,MADを実験時間計算のスケーリング手法として概念化し,協調的な改良と多様な探索能力で区別する。 我々は、MADと強力なセルフエージェントテストタイムスケーリングベースラインを数学的推論と安全関連タスクに基づいて比較した総合的な実証的研究を行う。
  論文  参考訳（メタデータ） (2025-05-29T01:02:55Z)
• Stop Overvaluing Multi-Agent Debate -- We Must Rethink Evaluation and Embrace Model Heterogeneity [20.408720462383158]
  マルチエージェント討論(MAD)は,大規模言語モデル(LLM)の事実的精度と推論能力を改善するための,将来的な研究ラインとして注目されている。 概念的魅力にもかかわらず、現在のMAD研究は評価実践の限界に悩まされている。 そこで本研究では, 基礎モデルを用いて, 9つのベンチマークにまたがる5つの代表的MAD手法の体系的評価を行った。
  論文  参考訳（メタデータ） (2025-02-12T21:01:10Z)
• MAD-Sherlock: Multi-Agent Debate for Visual Misinformation Detection [36.12673167913763]
  文外誤情報検出のためのマルチエージェント討論システムMAD-Sherlockを紹介する。 MAD-Sherlockは、オンラインで見られる多様で矛盾する会話を反映して、マルチエージェントの議論として検出する。 我々のフレームワークはドメインと時間に依存しず、微調整は必要ありませんが、詳細な説明で最先端の精度を実現しています。
  論文  参考訳（メタデータ） (2024-10-26T10:34:22Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。