論文の概要: Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs

• arxiv url: http://arxiv.org/abs/2311.17371v3
• Date: Thu, 18 Jul 2024 05:18:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 22:00:54.980142
• Title: Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs
• Title（参考訳）: MADに進むべきか? LLMのためのマルチエージェント議論戦略
• Authors: Andries Smit, Paul Duckworth, Nathan Grinsztajn, Thomas D. Barrett, Arnu Pretorius,
• Abstract要約: コスト、時間、正確性の間のトレードオフを探るため、さまざまな議論と戦略をベンチマークします。 マルチエージェントの議論システムは、現在の形式では、他の提案されたプロンプト戦略を確実に上回っているわけではない。 これらの結果に基づいて、エージェント合意レベルの調整など、議論戦略の改善に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 7.7433783185451075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) underscore their potential for responding to inquiries in various domains. However, ensuring that generative agents provide accurate and reliable answers remains an ongoing challenge. In this context, multi-agent debate (MAD) has emerged as a promising strategy for enhancing the truthfulness of LLMs. We benchmark a range of debating and prompting strategies to explore the trade-offs between cost, time, and accuracy. Importantly, we find that multi-agent debating systems, in their current form, do not reliably outperform other proposed prompting strategies, such as self-consistency and ensembling using multiple reasoning paths. However, when performing hyperparameter tuning, several MAD systems, such as Multi-Persona, perform better. This suggests that MAD protocols might not be inherently worse than other approaches, but that they are more sensitive to different hyperparameter settings and difficult to optimize. We build on these results to offer insights into improving debating strategies, such as adjusting agent agreement levels, which can significantly enhance performance and even surpass all other non-debate protocols we evaluated. We provide an open-source repository to the community with several state-of-the-art protocols together with evaluation scripts to benchmark across popular research datasets.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な領域の問い合わせに応答する可能性を示している。 しかし、生成エージェントが正確で信頼性の高い回答を提供することは、現在も進行中の課題である。 この文脈において、マルチエージェント討論(MAD)はLLMの真正性を高めるための有望な戦略として現れている。 コスト、時間、正確性の間のトレードオフを探るため、さまざまな議論と戦略をベンチマークします。 重要なことに、マルチエージェントの議論システムは、現在の形式では、複数の推論経路を用いた自己整合性やアンサンブルといった他の提案された促進戦略を確実に上回っているわけではない。 しかし、ハイパーパラメータチューニングを行う場合、Multi-PersonaのようないくつかのMADシステムはより優れた性能を発揮する。 これはMADプロトコルが本質的に他のアプローチよりも悪いのではなく、異なるハイパーパラメータ設定に敏感であり、最適化が難しいことを示唆している。 これらの結果に基づいて、エージェント合意レベルの調整などの議論戦略の改善に関する洞察を提供し、パフォーマンスを著しく向上させ、評価した他のすべての非議論プロトコルを超えます。 コミュニティには、いくつかの最先端プロトコルと、人気のある研究データセットをベンチマークする評価スクリプトを、オープンソースリポジトリとして提供しています。

関連論文リスト

• Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
  我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。 それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。 エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-19T02:20:06Z)
• DebUnc: Mitigating Hallucinations in Large Language Model Agent Communication with Uncertainty Estimations [52.242449026151846]
  DebUncは、不確実性メトリクスを使用してエージェントの信頼性レベルを評価するマルチエージェントの議論フレームワークである。 我々は、信頼度に基づいてトークン重量を調整するために注意機構を適用した。 評価の結果,注意に基づく手法は特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-08T22:15:01Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。 この課題に対処するための新しい手法を提案する。 典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Improving Multi-Agent Debate with Sparse Communication Topology [9.041025703879905]
  マルチエージェントの議論は、推論や事実性タスクのための大規模言語モデルの品質向上に有効であることが証明されている。 本稿では,マルチエージェントシステムにおける通信接続の効果について検討する。 GPTモデルとMistralモデルを用いた実験により,疎通信トポロジを利用したマルチエージェントの議論が同等あるいは優れた性能を達成できることが判明した。
  論文  参考訳（メタデータ） (2024-06-17T17:33:09Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。