論文の概要: Towards Scalable Oversight with Collaborative Multi-Agent Debate in Error Detection

• arxiv url: http://arxiv.org/abs/2510.20963v1
• Date: Thu, 23 Oct 2025 19:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.34948
• Title: Towards Scalable Oversight with Collaborative Multi-Agent Debate in Error Detection
• Title（参考訳）: 誤り検出における協調的マルチエージェント議論によるスケーラブルな監視に向けて
• Authors: Yongqiang Chen, Gang Niu, James Cheng, Bo Han, Masashi Sugiyama,
• Abstract要約: 自己診断は、信頼できる外部からのフィードバックがなければ、複雑なタスクでは信頼できない。 我々は,新たなコラボレーティブMADプロトコルであるColMADを導入し,MADを非ゼロ和ゲームとして再構成する。 ColMADは従来の競合MADよりも19%優れていた。
• 参考スコア（独自算出の注目度）: 81.52796950244705
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Accurate detection of errors in large language models (LLM) responses is central to the success of scalable oversight, or providing effective supervision to superhuman intelligence. Yet, self-diagnosis is often unreliable on complex tasks unless aided by reliable external feedback. Multi-agent debate (MAD) seems to be a natural alternative to external feedback: multiple LLMs provide complementary perspectives and cross-checks for error detection. However, prior MAD protocols frame debate as a zero-sum game, where the debaters compete to win the game instead of seeking the truth. Consequently, it leads to debate hacking: debaters tend to mislead the judge by misinterpreting the task or presenting overconfident claims, which introduce more mistakes and underperform single-agent methods. To mitigate the issue, we introduce a new collaborative MAD protocol, termed ColMAD, that reframes MAD as a non-zero sum game. Specifically, ColMAD encourages multiple agents to criticize each other in a supportive way, such that they can complement the missing points of each other. Therefore, the judge agent can make a more informative conclusion based on more comprehensive evidence. Empirically, we show that ColMAD significantly outperforms previous competitive MAD by 19% and brings non-trivial improvements over single-agent methods in error detection.
• Abstract（参考訳）: 大規模言語モデル(LLM)応答における誤りの正確な検出は、スケーラブルな監視の成功、あるいは超人的知性に対する効果的な監視の中心である。 しかし、自己診断は、信頼できる外部からのフィードバックがなければ、複雑なタスクでは信頼できないことが多い。 マルチエージェントの議論(MAD)は、外部からのフィードバックの自然な代替であり、複数のLLMが相補的な視点とエラー検出のためのクロスチェックを提供する。 しかし、MADプロトコル以前の議論はゼロサムゲームであり、議論者は真実を求めるのではなく、ゲームに勝つために競う。 議論者は、タスクを誤解したり、自信過剰なクレームを提示することで、裁判官を誤解させがちである。 この問題を軽減するため,新たなコラボレーティブMADプロトコルであるColMADを導入し,MADを非ゼロ和ゲームとして再構成する。 特に、ColMADは複数のエージェントがお互いの欠落点を補うように、支援的な方法でお互いを批判することを奨励している。 したがって、審査員はより包括的な証拠に基づいてより情報的な結論を下すことができる。 実験により,ColMADは従来の競合MADよりも19%向上し,エラー検出における単一エージェント法よりも非自明な改善がもたらされた。

関連論文リスト

• iMAD: Intelligent Multi-Agent Debate for Efficient and Accurate LLM Inference [11.86992814928132]
  マルチエージェント・ディベート(MAD)は、構造化された議論に複数のエージェントを関与させる有望なフレームワークとして登場した。 トークン効率の高いフレームワークであるインテリジェントマルチエージェント・ディベート(iMAD)を提案する。 iMADはトークン使用率(最大92%)を大幅に削減し、最終回答精度(最大13.5%)も向上することを示した。
  論文  参考訳（メタデータ） (2025-11-14T13:50:51Z)
• Multi-agent Undercover Gaming: Hallucination Removal via Counterfactual Test for Multimodal Reasoning [12.06050648342985]
  幻覚は、大きな言語モデルの推論能力において大きな障害となる。 以下、Multi-Adnt Undercover Gaming(MUG)プロトコルを紹介します。 MUGは、マルチモーダル・カウンターファクト・テスト(英語版)を用いることで、(幻覚に苦しむ)「アンダーカバー」エージェントを検出するプロセスとしてMADを再編成する。
  論文  参考訳（メタデータ） (2025-11-14T11:27:55Z)
• Enhancing Multi-Agent Debate System Performance via Confidence Expression [55.34012400580016]
  マルチエージェント・ディベート(MAD)システムは人間の議論をシミュレートし、タスク性能を向上させる。 一部の大規模言語モデル(LLM)は、特定のタスクに対して優れた知識や推論能力を持っているが、議論の間、この利点を明確に伝えるのに苦労している。 不適切な信頼表現は、MADシステムのエージェントが、不適切な信念を頑固に維持するか、あるいは最適でない答えに早急に収束させる可能性がある。 我々は,議論プロセス全体を通して信頼表現を統合するMADフレームワークConfMADを開発した。
  論文  参考訳（メタデータ） (2025-09-17T14:34:27Z)
• Free-MAD: Consensus-Free Multi-Agent Debate [17.384699873512464]
  マルチエージェント討論(MAD)は、大規模言語モデル(LLM)の推論能力を改善するための新しいアプローチである。 既存のMADメソッドは、合意に達するためにエージェント間の複数ラウンドの相互作用に依存しており、最終的な出力は前回のラウンドで多数決によって選択される。 エージェント間のコンセンサスを必要としない新しいMADフレームワークであるtextscFree-MADを提案する。
  論文  参考訳（メタデータ） (2025-09-14T01:55:01Z)
• Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models? [13.569822165805851]
  マルチエージェント・ディベート(MAD)は,大規模言語モデルの性能向上のための,有望なパラダイムとして登場した。 近年の進歩にもかかわらず、MADの有効性を左右する重要な要因はいまだ不明である。 我々はMajority VotingとInter-agent Debateの2つの重要なコンポーネントにMADを分解し、それぞれのコントリビューションを評価する。
  論文  参考訳（メタデータ） (2025-08-24T22:14:32Z)
• Revisiting Multi-Agent Debate as Test-Time Scaling: A Systematic Study of Conditional Effectiveness [50.29739337771454]
  マルチエージェントの議論(MAD)アプローチは、モノリシックモデルに対する推論、堅牢性、多様な視点を提供する。 本稿では,MADを実験時間計算のスケーリング手法として概念化し,協調的な改良と多様な探索能力で区別する。 我々は、MADと強力なセルフエージェントテストタイムスケーリングベースラインを数学的推論と安全関連タスクに基づいて比較した総合的な実証的研究を行う。
  論文  参考訳（メタデータ） (2025-05-29T01:02:55Z)
• Stop Overvaluing Multi-Agent Debate -- We Must Rethink Evaluation and Embrace Model Heterogeneity [20.408720462383158]
  マルチエージェント討論(MAD)は,大規模言語モデル(LLM)の事実的精度と推論能力を改善するための,将来的な研究ラインとして注目されている。 概念的魅力にもかかわらず、現在のMAD研究は評価実践の限界に悩まされている。 そこで本研究では, 基礎モデルを用いて, 9つのベンチマークにまたがる5つの代表的MAD手法の体系的評価を行った。
  論文  参考訳（メタデータ） (2025-02-12T21:01:10Z)
• MAD-Sherlock: Multi-Agent Debate for Visual Misinformation Detection [36.12673167913763]
  文外誤情報検出のためのマルチエージェント討論システムMAD-Sherlockを紹介する。 MAD-Sherlockは、オンラインで見られる多様で矛盾する会話を反映して、マルチエージェントの議論として検出する。 我々のフレームワークはドメインと時間に依存しず、微調整は必要ありませんが、詳細な説明で最先端の精度を実現しています。
  論文  参考訳（メタデータ） (2024-10-26T10:34:22Z)
• DebUnc: Improving Large Language Model Agent Communication With Uncertainty Metrics [52.242449026151846]
  大規模言語モデル(LLM)の精度向上のためのマルチエージェント論争が紹介されている。 エージェントの信頼性を評価するために不確実性指標を用いた議論フレームワークであるDebUncを提案する。
  論文  参考訳（メタデータ） (2024-07-08T22:15:01Z)
• Multi-Agent Imitation Learning: Value is Easy, Regret is Hard [52.31989962031179]
  我々は,エージェント群を協調させようとする学習者の視点で,マルチエージェント模倣学習(MAIL)問題を研究する。 MAILの以前の作業のほとんどは、基本的には、デモのサポート内で専門家の振る舞いにマッチする問題を減らすものです。 エージェントが戦略的でないという仮定の下で、学習者と専門家の間の価値ギャップをゼロにするのに十分であるが、戦略的エージェントによる逸脱を保証するものではない。
  論文  参考訳（メタデータ） (2024-06-06T16:18:20Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。