論文の概要: When Helping Hurts and How to Fix It: Multi-Agent Debate for Data Cleaning
- arxiv url: http://arxiv.org/abs/2606.02866v1
- Date: Mon, 01 Jun 2026 20:29:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.593528
- Title: When Helping Hurts and How to Fix It: Multi-Agent Debate for Data Cleaning
- Title(参考訳): ハートを手伝うときとそれを修正する方法 - データクリーニングのためのマルチエージェント議論
- Authors: Chirag Parmar, Akshat Mehta, Henglin Wu, Jagadish Ramamurthy, Shweta Medhekar,
- Abstract要約: 論議の効果は逆で、批判によって引き起こされる混乱によって生成が低下する。
議論は、間違ったアウトプットを回収する確率が正しいアウトプットを破壊する確率を超える場合に有効である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When does multi-agent debate help data cleaning, and when does it hurt? Across three benchmarks, four model families, and over 6,000 task-condition pairs, we find debate's effect reverses sign: it degrades generation across all four models (-1.6 to -15.5pp) through critique-induced confusion (CIC), hallucinated Critic feedback that the Generator accepts uncritically, yet improves error detection (+27.4pp F1, d=1.0). We derive a debate benefit condition: debate helps when the probability of rescuing a wrong output (Critic verification odds weighted by fixability) exceeds the probability of destroying a correct one. A factorial experiment proves adversarial separation is essential: self-verification with identical tools fails, while a separate Critic with code-execution grounding and evidence-gated generation produces the first debate configuration to significantly exceed single-agent on a generative task (+5.3pp, p<0.05). The condition correctly predicts all nine task types and generalizes with zero false positives across 19 published comparisons in seven domains.
- Abstract(参考訳): マルチエージェントの議論はデータのクリーニングに役立つのか?
3つのベンチマーク、4つのモデルファミリ、6000以上のタスク条件ペアにまたがって、議論の効果が逆転する。それは、批判誘発混乱(CIC)を通じて4つのモデル(-1.6から-15.5pp)全てで生成を劣化させ、ジェネレータが非臨界的に受け入れる一方、エラー検出を改善する(+27.4pp F1, d=1.0)。
議論は間違った出力を回収する確率(固定性によって重み付けされる批判的検証確率)が正しい出力を破壊する確率を超える場合に有効である。
同じツールによる自己検証は失敗し、コード実行基盤とエビデンス付き生成を持つ別個の批判は、生成タスク(+5.3pp, p<0.05)において単一エージェントを大幅に超える最初の議論構成を生成する。
この条件は、9つのタスクタイプ全てを正しく予測し、7つのドメインで19の公表された比較でゼロの偽陽性で一般化する。
関連論文リスト
- When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。
平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
論文 参考訳(メタデータ) (2026-05-25T15:57:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Courtroom-Style Multi-Agent Debate with Progressive RAG and Role-Switching for Controversial Claim Verification [2.464003792743989]
大型言語モデル (LLM) は、幻覚や浅い推論のため、高い精度のクレーム検証には信頼できないままである。
本稿では, 検証を構造化された, 反対の審議会として再編成する, 裁判所方式のマルチエージェントフレームワーク PROClaim を提案する。
提案手法は,プログレッシブRAG (Progressive RAG, P-RAG) と特別な役割(プレーンティフ, ディフェンス, ジャッジ)を統合し, 議論の間, 証拠プールを動的に拡大・洗練する。
論文 参考訳(メタデータ) (2026-03-30T14:23:15Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳(メタデータ) (2026-03-18T14:38:55Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Towards Scalable Oversight with Collaborative Multi-Agent Debate in Error Detection [81.52796950244705]
自己診断は、信頼できる外部からのフィードバックがなければ、複雑なタスクでは信頼できない。
我々は,新たなコラボレーティブMADプロトコルであるColMADを導入し,MADを非ゼロ和ゲームとして再構成する。
ColMADは従来の競合MADよりも19%優れていた。
論文 参考訳(メタデータ) (2025-10-23T19:46:00Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification [49.1574468325115]
数値的クレーム、量、比較、時間的参照を含むステートメントは、自動化された事実チェックシステムに固有の課題をもたらす。
我々は,QuanTempデータセットを用いて,これらのクレームの精度予測のためのモデリング戦略を評価し,エビデンス検索パイプラインを構築した。
当社のベストパフォーマンスシステムは,競争力のあるマクロ平均F1スコア0.57を達成し,2025年のCheckThatのタスク3におけるトップ4のサブミッションに私たちを配置する。
論文 参考訳(メタデータ) (2025-07-08T17:22:22Z) - Shrinking the Generation-Verification Gap with Weak Verifiers [42.538675831498715]
検証者は、生成された候補から応答をスコア付けしてランク付けすることで、言語モデル機能を改善することができる。
Weaverは、複数の弱い不完全な検証器を組み合わせることで、強力な検証器を設計するためのフレームワークである。
論文 参考訳(メタデータ) (2025-06-22T23:38:15Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳(メタデータ) (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。