論文の概要: Stay Focused: Problem Drift in Multi-Agent Debate

• arxiv url: http://arxiv.org/abs/2502.19559v1
• Date: Wed, 26 Feb 2025 20:54:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:21.264163
• Title: Stay Focused: Problem Drift in Multi-Agent Debate
• Title（参考訳）: Stay Focused: マルチエージェント討論における問題解決
• Authors: Jonas Becker, Lars Benedikt Kaesberg, Andreas Stephan, Jan Philip Wahle, Terry Ruas, Bela Gipp,
• Abstract要約: 議論は複数回にわたる最初の問題から遠ざかっている。 本研究は,マルチエージェントの議論における重要な限界を理解するための第一歩として,将来的な有効性向上の道筋を明らかにすることができる。
• 参考スコア（独自算出の注目度）: 7.156386767951493
• License:
• Abstract: Multi-agent debate - multiple instances of large language models discussing problems in turn-based interaction - has shown promise for solving knowledge and reasoning tasks. However, these methods show limitations, particularly when scaling them to longer reasoning chains. In this study, we unveil a new issue of multi-agent debate: discussions drift away from the initial problem over multiple turns. We define this phenomenon as problem drift and quantify its presence across ten tasks (i.e., three generative, three knowledge, three reasoning, and one instruction-following task). To identify the reasons for this issue, we perform a human study with eight experts on discussions suffering from problem drift, who find the most common issues are a lack of progress (35% of cases), low-quality feedback (26% of cases), and a lack of clarity (25% of cases). To systematically address the issue of problem drift, we propose DRIFTJudge, a method based on LLM-as-a-judge, to detect problem drift at test-time. We further propose DRIFTPolicy, a method to mitigate 31% of problem drift cases. Our study can be seen as a first step to understanding a key limitation of multi-agent debate, highlighting pathways for improving their effectiveness in the future.
• Abstract（参考訳）: ターンベースインタラクションの問題を議論する大規模言語モデルの複数例であるマルチエージェントの議論では、知識と推論タスクの解決が約束されている。 しかし、これらの手法は、特に長い推論チェーンにスケールする場合に制限を示す。 本研究では,複数回にわたる議論から遠ざかる,マルチエージェントの議論の新たな課題を明らかにする。 この現象を問題ドリフトとして定義し、その存在を10のタスク(3つの生成的、3つの知識、3つの推論、3つの命令追従タスク)で定量化する。 この問題の理由を明らかにするために,問題ドリフトに苦しむ議論について8人の専門家とともに人間による研究を行い,最も一般的な問題として,進展の欠如(35%),低品質フィードバック(26%),明確さの欠如(25%)を挙げている。 そこで本研究では,LLM-as-a-judgeに基づくDRIFTJudgeを提案する。 さらに,問題ドリフトの31%を緩和するDRIFTPolicyを提案する。 本研究は,マルチエージェントの議論における重要な限界を理解するための第一歩として,将来的な有効性向上の道筋を明らかにすることができる。

関連論文リスト

• An Entailment Tree Generation Approach for Multimodal Multi-Hop Question Answering with Mixture-of-Experts and Iterative Feedback Mechanism [14.479060028732803]
  マルチモーダルなマルチホップ質問応答の現在の手法は、主に2つの課題に直面している。 大量の冗長な情報を含む検索された証拠は、性能を著しく低下させる。 解釈可能な推論ステップのない推論プロセスは、複雑な問題を扱うための論理的誤りを発見するのを難しくする。
  論文  参考訳（メタデータ） (2024-12-08T05:47:55Z)
• Multi-Agent Large Language Models for Conversational Task-Solving [0.0]
  対話型タスク解決における新たな主人公として,マルチエージェントシステムが誕生する。 複雑さの異なるタスク間で、マルチエージェントの議論がどのように機能するかは、いまだ不明である。 2022年から2024年までの20のマルチエージェント研究の分類について提案する。
  論文  参考訳（メタデータ） (2024-10-30T11:38:13Z)
• Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths [69.39559168050923]
  本稿では,多様な経路から学習の推論と探索を可能にするReasoning Paths Optimization (RPO)を紹介する。 提案手法は,各推論ステップにおいて好意的な分岐を奨励し,好ましくない分岐を罰し,モデル全体の問題解決性能を高める。 我々は,数語問題や理科ベースの試験問題など,多段階の推論タスクに焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-07T06:37:25Z)
• VC Search: Bridging the Gap Between Well-Defined and Ill-Defined Problems in Mathematical Reasoning [46.25056744404318]
  5000以上の不確定な数学的問題を含むPMC(Issue with Missing and Contradictory conditions)というベンチマークを開発した。 VCSEARCHは、解決不可能な問題を特定する精度を、さまざまな大きな言語モデルで少なくとも12%向上させる。
  論文  参考訳（メタデータ） (2024-06-07T16:24:12Z)
• CoMM: Collaborative Multi-Agent, Multi-Reasoning-Path Prompting for Complex Problem Solving [9.446546965008249]
  協調型マルチエージェント・マルチレゾニングパス(CoMM)プロンプトフレームワークを提案する。 具体的には、LLMが問題解決チームで異なる役割を演じるように促し、異なるロールプレイエージェントが目的のタスクを協調的に解決するように促します。 2つの大学レベルの科学問題に対する提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-04-26T23:29:12Z)
• Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
  CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。 意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:16:05Z)
• A Picture Is Worth a Graph: A Blueprint Debate Paradigm for Multimodal Reasoning [53.35861580821777]
  この研究は、過剰な要約による意見の自明化と、画像から導入された散逸した概念による焦点の転換という2つの主要な課題に対処する。 この問題に対処するため,BDoG (Blueprint Debate on Graphs) と呼ばれる演目的(トップダウン)な議論手法を提案する。 BDoGでは、世界レベルの要約による意見の自明化を防止するために、ブループリントグラフに限定して議論を行う。さらに、BDoGはグラフ内の枝に証拠を格納することで、頻繁だが無関係な概念によって引き起こされる混乱を緩和する。
  論文  参考訳（メタデータ） (2024-03-22T06:03:07Z)
• Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [55.66353783572259]
  Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。 我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
  論文  参考訳（メタデータ） (2023-08-23T04:59:21Z)
• Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
  我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。 我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。 私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
  論文  参考訳（メタデータ） (2023-06-29T12:44:53Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)
• Multi-Objective Parameter-less Population Pyramid for Solving Industrial Process Planning Problems [3.4389143174241315]
  進化的手法は、難しい実践的な問題を解決する際に、高品質な結果を得るために有効なツールである。 学習を採用する最先端の方法の1つは、そのことだ。 無人口ピラミッド(P3) 近年の研究では、P3はいわゆる重複ブロックの問題に対処する上で非常に競争力が高いことが示されている。
  論文  参考訳（メタデータ） (2020-09-10T09:40:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。