論文の概要: ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs

• arxiv url: http://arxiv.org/abs/2309.13007v1
• Date: Fri, 22 Sep 2023 17:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 13:39:24.369153
• Title: ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs
• Title（参考訳）: ReConcile: 異種LDM間の合意によるラウンドテイブル会議の改善
• Authors: Justin Chih-Yao Chen, Swarnadeep Saha, Mohit Bansal
• Abstract要約: 大規模言語モデル(LLM)は複雑な推論タスクに苦戦している。 コンセンサスを改善するために,多様な思考と議論を促進するためにReConcileを提案する。 3つのエージェントとして、ChatGPT、Bard、Claude2でReConcileを実装します。
• 参考スコア（独自算出の注目度）: 68.6380212467946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) still struggle with complex reasoning tasks. Motivated by the society of minds (Minsky, 1988), we propose ReConcile, a multi-model multi-agent framework designed as a round table conference among diverse LLM agents to foster diverse thoughts and discussion for improved consensus. ReConcile enhances the reasoning capabilities of LLMs by holding multiple rounds of discussion, learning to convince other agents to improve their answers, and employing a confidence-weighted voting mechanism. In each round, ReConcile initiates discussion between agents via a 'discussion prompt' that consists of (a) grouped answers and explanations generated by each agent in the previous round, (b) their uncertainties, and (c) demonstrations of answer-rectifying human explanations, used for convincing other agents. This discussion prompt enables each agent to revise their responses in light of insights from other agents. Once a consensus is reached and the discussion ends, ReConcile determines the final answer by leveraging the confidence of each agent in a weighted voting scheme. We implement ReConcile with ChatGPT, Bard, and Claude2 as the three agents. Our experimental results on various benchmarks demonstrate that ReConcile significantly enhances the reasoning performance of the agents (both individually and as a team), surpassing prior single-agent and multi-agent baselines by 7.7% and also outperforming GPT-4 on some of these datasets. We also experiment with GPT-4 itself as one of the agents in ReConcile and demonstrate that its initial performance also improves by absolute 10.0% through discussion and feedback from other agents. Finally, we also analyze the accuracy after every round and observe that ReConcile achieves better and faster consensus between agents, compared to a multi-agent debate baseline. Our code is available at: https://github.com/dinobby/ReConcile
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑な推論タスクに苦戦している。 心の社会に動機づけられたReConcile(1988年、ミンスキー)は、多種多様なLLMエージェント間のラウンドテーブル会議として設計されたマルチモデルマルチエージェントフレームワークで、多様な思考と議論を育成し、コンセンサスを改善する。 ReConcileは、複数の議論をし、他のエージェントを説得して回答を改善することを学び、自信に富んだ投票機構を採用することで、LCMの推論能力を高める。 各ラウンドにおいて、reconcileはエージェント間の議論を「議論のプロンプト」を通じて開始する。 (a)前ラウンドの各エージェントが生成したグループ化された回答及び説明 (b)不確実性、及び (c)他のエージェントを説得するために使用される回答訂正人間の説明のデモンストレーション。 この議論は各エージェントが他のエージェントからの洞察に基づいて応答を修正できるようにする。 合意に達し、議論が終わると、ReConcileは各エージェントの信頼を重み付けされた投票方式で活用することで最終回答を決定する。 3つのエージェントとして、ChatGPT、Bard、Claude2でReConcileを実装します。 様々なベンチマークを用いた実験の結果,reconcileはエージェント(個人とチームの両方)の推論性能を大幅に向上させ,先行するシングルエージェントとマルチエージェントのベースラインを7.7%上回り,これらのデータセットでgpt-4を上回った。 また、GPT-4自体をReConcileのエージェントとして実験し、その初期性能が他のエージェントからの議論やフィードバックによって絶対10.0%向上することが実証された。 最後に,ラウンド毎の正確性を分析し,マルチエージェントの議論ベースラインと比較して,コンセンサスがエージェント間のコンセンサスを良好かつ高速に達成することを確認する。 私たちのコードは、https://github.com/dinobby/ReConcileで利用可能です。

関連論文リスト

• Diversity of Thought Elicits Stronger Reasoning Capabilities in Multi-Agent Debate Frameworks [0.0]
  大規模言語モデルの推論と事実的正確性を改善するために, 思考の促進, 自己検証, マルチエージェントの議論が提案されている。 マルチエージェントの議論はどんなモデルスケールでも有効であり、思考の多様性はLLMの議論においてより強力な推論をもたらす。
  論文  参考訳（メタデータ） (2024-10-10T21:59:01Z)
• Textualized Agent-Style Reasoning for Complex Tasks by Multiple Round LLM Generation [49.27250832754313]
  我々は、llmベースの自律エージェントフレームワークであるAgentCOTを紹介する。 それぞれのステップで、AgentCOTはアクションを選択し、それを実行して、証拠を裏付ける中間結果を得る。 エージェントCOTの性能を高めるための2つの新しい戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-19T02:20:06Z)
• Hypothetical Minds: Scaffolding Theory of Mind for Multi-Agent Tasks with Large Language Models [4.9108308035618515]
  マルチエージェント強化学習(MARL)法はマルチエージェントシステムの非定常性に対処する。 ここでは、大きな言語モデル(LLM)を活用して、これらの課題に対処できる自律エージェントを作成します。 私たちのエージェントである仮説的マインドスは、認知にインスパイアされたアーキテクチャで構成されており、知覚、記憶、階層的な2段階の抽象化計画のためのモジュラーコンポーネントを備えています。
  論文  参考訳（メタデータ） (2024-07-09T17:57:15Z)
• Reframing the Relationship in Out-of-Distribution Detection [4.182518087792777]
  本稿では,エージェントパラダイムをアウト・オブ・ディストリビューション(OOD)検出タスクに統合する新しいアプローチを提案する。 提案手法であるConcept Matching with Agent (CMA) は、CLIPに基づくOOD検出プロセスを強化するために、中性プロンプトをエージェントとして利用する。 実験結果から, ゼロショット法とトレーニング要求法の両方よりもCMAの方が優れた性能を示した。
  論文  参考訳（メタデータ） (2024-05-27T02:27:28Z)
• Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key? [84.36332588191623]
  本稿では,議論機構の集合を充実させる新しいグループディスカッションフレームワークを提案する。 マルチエージェントの議論は,プロンプトに実演がない場合にのみ,単一のエージェントよりも優れていることが観察された。
  論文  参考訳（メタデータ） (2024-02-28T12:04:05Z)
• Large Multimodal Agents: A Survey [78.81459893884737]
  大規模言語モデル(LLM)は、テキストベースのAIエージェントのパワーで優れたパフォーマンスを実現している。 LLMを利用したAIエージェントをマルチモーダルドメインに拡張することに焦点を当てた、新たな研究トレンドがある。 本総説は, この急速に発展する分野において, 今後の研究に有用な洞察とガイドラインを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-02-23T06:04:23Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。 アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。 この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Towards Reasoning in Large Language Models via Multi-Agent Peer Review Collaboration [28.299379264080603]
  大規模言語モデル(LLM)は、一般的な自然言語処理タスクにおいて顕著な能力を示しているが、複雑な推論タスクでは不足することが多い。 近年の研究では、自己正当性のような人間的な問題解決戦略を探求し、単一モデル推論能力の境界を推し進めている。 学術的ピアレビュープロセスをエミュレートするマルチエージェントコラボレーション戦略を導入する。
  論文  参考訳（メタデータ） (2023-11-14T13:27:07Z)
• AgentCF: Collaborative Learning with Autonomous Language Agents for Recommender Systems [112.76941157194544]
  本稿では,エージェントベースの協調フィルタリングにより,レコメンデータシステムにおけるユーザとイテムのインタラクションをシミュレートするエージェントCFを提案する。 我々は、ユーザだけでなく、アイテムをエージェントとして、創造的に考慮し、両方のエージェントを同時に最適化する協調学習アプローチを開発します。 全体として、最適化されたエージェントは、ユーザ・イテム、ユーザ・ユーザ・ユーザ、アイテム・イテム、集合的インタラクションなど、フレームワーク内での多様なインタラクションの振る舞いを示す。
  論文  参考訳（メタデータ） (2023-10-13T16:37:14Z)
• BGC: Multi-Agent Group Belief with Graph Clustering [1.9949730506194252]
  エージェントがコミュニケーションなしで情報を交換できる半通信方式を提案する。 近接するエージェントを小さなグループに分割し,グループ内のエージェントの信念を最小化するグループベースのモジュールを提案する。 その結果,提案手法はSMACベンチマークの大幅な改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T07:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。