論文の概要: ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs

• arxiv url: http://arxiv.org/abs/2309.13007v3
• Date: Fri, 21 Jun 2024 19:34:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 04:58:37.098538
• Title: ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs
• Title（参考訳）: ReConcile: 異種LDM間の合意によるラウンドテイブル会議の改善
• Authors: Justin Chih-Yao Chen, Swarnadeep Saha, Mohit Bansal,
• Abstract要約: 大規模言語モデル(LLM)は、まだ自然言語推論タスクに苦戦している。 心の社会に動機づけられて、我々はReConcileを提案する。 LLMエージェント間のラウンドテーブル会議として設計されたマルチモデルマルチエージェントフレームワーク。
• 参考スコア（独自算出の注目度）: 61.07130026622437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) still struggle with natural language reasoning tasks. Motivated by the society of minds (Minsky, 1988), we propose ReConcile, a multi-model multi-agent framework designed as a round table conference among diverse LLM agents. ReConcile enhances collaborative reasoning between LLM agents via multiple rounds of discussion, learning to convince other agents to improve their answers, and employing a confidence-weighted voting mechanism that leads to a better consensus. In each round, ReConcile initiates discussion between agents via a 'discussion prompt' that consists of (a) grouped answers and explanations generated by each agent in the previous round, (b) their confidence scores, and (c) demonstrations of answer-rectifying human explanations, used for convincing other agents. Experiments on seven benchmarks demonstrate that ReConcile significantly improves LLMs' reasoning -- both individually and as a team -- surpassing prior single-agent and multi-agent baselines by up to 11.4% and even outperforming GPT-4 on three datasets. ReConcile also flexibly incorporates different combinations of agents, including API-based, open-source, and domain-specific models, leading to an 8% improvement on MATH. Finally, we analyze the individual components of ReConcile, demonstrating that the diversity originating from different models is critical to its superior performance. Code: https://github.com/dinobby/ReConcile
• Abstract（参考訳）: 大規模言語モデル(LLM)は、まだ自然言語推論タスクに苦戦している。 心の社会に動機づけられたReConcileは,多種多様なLDMエージェント間のラウンドテーブル会議として設計されたマルチモデルマルチエージェントフレームワークである。 ReConcileは、複数の議論を通じてLLMエージェント間の共同推論を強化し、他のエージェントを説得して回答を改善することを学び、よりコンセンサスを高めるための信頼度の高い投票メカニズムを採用する。 各ラウンドで、ReConcileはエージェント間の議論を開始する。 (a)前回ラウンドにおいて各代理人が生み出した回答及び説明 b)信頼スコア、そして (c)他のエージェントを説得するために使用される回答訂正人間の説明のデモンストレーション。 7つのベンチマークの実験では、ReConcileはLLMの推論(個人とチームの両方)を大幅に改善し、以前のシングルエージェントとマルチエージェントのベースラインを最大11.4%上回り、3つのデータセットでGPT-4を上回っている。 ReConcileには、APIベース、オープンソース、ドメイン固有モデルなど、さまざまなエージェントの組み合わせも柔軟に組み込まれており、MATHは8%改善されている。 最後に、ReConcileの個々のコンポーネントを分析し、異なるモデルから派生した多様性がその優れたパフォーマンスに重要であることを示す。 コード:https://github.com/dinobby/ReConcile

関連論文リスト

• Diversity of Thought Elicits Stronger Reasoning Capabilities in Multi-Agent Debate Frameworks [0.0]
  大規模言語モデルの推論と事実的正確性を改善するために, 思考の促進, 自己検証, マルチエージェントの議論が提案されている。 マルチエージェントの議論はどんなモデルスケールでも有効であり、思考の多様性はLLMの議論においてより強力な推論をもたらす。
  論文  参考訳（メタデータ） (2024-10-10T21:59:01Z)
• Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
  我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。 それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。 エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-19T02:20:06Z)
• Hypothetical Minds: Scaffolding Theory of Mind for Multi-Agent Tasks with Large Language Models [4.9108308035618515]
  マルチエージェント強化学習(MARL)法はマルチエージェントシステムの非定常性に対処する。 ここでは、大きな言語モデル(LLM)を活用して、これらの課題に対処できる自律エージェントを作成します。 私たちのエージェントである仮説的マインドスは、認知にインスパイアされたアーキテクチャで構成されており、知覚、記憶、階層的な2段階の抽象化計画のためのモジュラーコンポーネントを備えています。
  論文  参考訳（メタデータ） (2024-07-09T17:57:15Z)
• Reframing the Relationship in Out-of-Distribution Detection [4.182518087792777]
  本稿では,エージェントパラダイムをアウト・オブ・ディストリビューション(OOD)検出タスクに統合する新しいアプローチを提案する。 提案手法であるConcept Matching with Agent (CMA) は、CLIPに基づくOOD検出プロセスを強化するために、中性プロンプトをエージェントとして利用する。 実験結果から, ゼロショット法とトレーニング要求法の両方よりもCMAの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2024-05-27T02:27:28Z)
• Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key? [84.36332588191623]
  本稿では,議論機構の集合を充実させる新しいグループディスカッションフレームワークを提案する。 マルチエージェントの議論は,プロンプトに実演がない場合にのみ,単一のエージェントよりも優れていることが観察された。
  論文  参考訳（メタデータ） (2024-02-28T12:04:05Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。 アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。 この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Towards Reasoning in Large Language Models via Multi-Agent Peer Review Collaboration [28.299379264080603]
  大規模言語モデル(LLM)は、一般的な自然言語処理タスクにおいて顕著な能力を示しているが、複雑な推論タスクでは不足することが多い。 近年の研究では、自己正当性のような人間的な問題解決戦略を探求し、単一モデル推論能力の境界を推し進めている。 学術的ピアレビュープロセスをエミュレートするマルチエージェントコラボレーション戦略を導入する。
  論文  参考訳（メタデータ） (2023-11-14T13:27:07Z)
• AgentCF: Collaborative Learning with Autonomous Language Agents for Recommender Systems [112.76941157194544]
  本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。 我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。 全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-13T16:37:14Z)
• BGC: Multi-Agent Group Belief with Graph Clustering [1.9949730506194252]
  エージェントがコミュニケーションなしで情報を交換できる半通信方式を提案する。 近接するエージェントを小さなグループに分割し,グループ内のエージェントの信念を最小化するグループベースのモジュールを提案する。 その結果,提案手法はSMACベンチマークの大幅な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T07:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。