論文の概要: When One LLM Drools, Multi-LLM Collaboration Rules
- arxiv url: http://arxiv.org/abs/2502.04506v1
- Date: Thu, 06 Feb 2025 21:13:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 18:29:32.93109
- Title: When One LLM Drools, Multi-LLM Collaboration Rules
- Title(参考訳): LLMが1回ドロールすると、複数LLM協調ルールが成立する
- Authors: Shangbin Feng, Wenxuan Ding, Alisa Liu, Zifeng Wang, Weijia Shi, Yike Wang, Zejiang Shen, Xiaochuang Han, Hunter Lang, Chen-Yu Lee, Tomas Pfister, Yejin Choi, Yulia Tsvetkov,
- Abstract要約: 私たちは、データ、スキル、人々の幅広い多様性を表現するために、マルチLLMコラボレーションを議論しています。
既存のマルチLLM協調手法を,アクセスレベルと情報交換レベルに基づいて階層構造に整理する。
コンポジションインテリジェンスとコラボレーティブAI開発への不可欠な道として,マルチLLMコラボレーションを構想する。
- 参考スコア(独自算出の注目度): 98.71562711695991
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This position paper argues that in many realistic (i.e., complex, contextualized, subjective) scenarios, one LLM is not enough to produce a reliable output. We challenge the status quo of relying solely on a single general-purpose LLM and argue for multi-LLM collaboration to better represent the extensive diversity of data, skills, and people. We first posit that a single LLM underrepresents real-world data distributions, heterogeneous skills, and pluralistic populations, and that such representation gaps cannot be trivially patched by further training a single LLM. We then organize existing multi-LLM collaboration methods into a hierarchy, based on the level of access and information exchange, ranging from API-level, text-level, logit-level, to weight-level collaboration. Based on these methods, we highlight how multi-LLM collaboration addresses challenges that a single LLM struggles with, such as reliability, democratization, and pluralism. Finally, we identify the limitations of existing multi-LLM methods and motivate future work. We envision multi-LLM collaboration as an essential path toward compositional intelligence and collaborative AI development.
- Abstract(参考訳): このポジションペーパーは、多くの現実的なシナリオ(すなわち、複雑な、文脈化された、主観的な)において、1つのLCMは信頼できる出力を生成するには不十分であると主張している。
我々は、単一の汎用LLMにのみ依存するという現状に挑戦し、データ、スキル、人々の広範な多様性を表現するために、マルチLLMコラボレーションを議論する。
まず, 1 つの LLM が実世界のデータ分布, 異種スキル, および多元性集団を低く表現し, 単一の LLM のさらなる訓練により, それらの表現ギャップを自明にパッチすることは不可能である,と仮定する。
次に、APIレベル、テキストレベル、ロジットレベルから重み付けレベルまで、アクセスと情報交換のレベルに基づいて、既存のマルチLLMコラボレーションメソッドを階層化します。
これらの手法に基づいて,マルチLLMコラボレーションは,信頼性や民主化,多元主義といった,単一LLMが抱える課題にどのように対処するかを強調した。
最後に,既存のマルチLLM手法の限界を特定し,今後の課題を動機づける。
コンポジションインテリジェンスとコラボレーティブAI開発への不可欠な道として,マルチLLMコラボレーションを構想する。
関連論文リスト
- Collab-Overcooked: Benchmarking and Evaluating Large Language Models as Collaborative Agents [17.773801766612703]
大規模言語モデル(LLM)ベースのエージェントシステムは、従来のNLPタスクを超えて、現実世界のアプリケーションにおいて大きな進歩を遂げてきた。
本稿では,インタラクティブ環境において,より適用性が高く,課題の多いOvercooked-AIゲーム上に構築された新しいベンチマークであるCollab-Overcookedを提案する。
論文 参考訳(メタデータ) (2025-02-27T13:31:13Z) - MAPoRL: Multi-Agent Post-Co-Training for Collaborative Large Language Models with Reinforcement Learning [26.736078756799635]
新しいポストトレーニングパラダイムMAPoRL(強化学習を用いた協調LLMのためのマルチエージェントポストトレーニング)を導入する。
MAPoRLでは、複数のLLMが独立して独自の応答を生成し、最終回答を協調的に改善するためのマルチターンディスカッションを行う。
MAPoRL検証器は、回答の正しさを検証するスコアを割り当てることで、回答と議論の両方を評価する。
スコアはコトレーニング報酬として機能し、マルチエージェントRLによって最大化される。
論文 参考訳(メタデータ) (2025-02-25T18:33:48Z) - Multi-LLM Text Summarization [58.74987409988719]
本稿では,マルチLLM要約フレームワークを提案し,集中化と分散化を含む2つの異なるマルチLLM戦略について検討する。
当社のフレームワークは,各会話のラウンドにおいて,生成と評価という,基本的に重要なステップを2つ備えています。
我々のマルチLLM要約アプローチは, 1 つの LLM のみを最大 3 倍まで活用するベースラインを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2024-12-20T01:55:26Z) - CollabStory: Multi-LLM Collaborative Story Generation and Authorship Analysis [5.929552001093879]
私たちはCollabStoryと呼ばれる、初めてLLM生成のコラボレーティブなストーリーデータセットを生成します。
オープンソース命令チューニング LLM を用いて,32k 以上のストーリーを生成する。
複数LLM設定のためのオーサシップ関連タスクを拡張し,LLM-LLMコラボレーションのためのベースラインを提示する。
論文 参考訳(メタデータ) (2024-06-18T14:35:12Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。
この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
論文 参考訳(メタデータ) (2023-11-09T13:18:27Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - A Survey on Multimodal Large Language Models [71.63375558033364]
GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。
本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
論文 参考訳(メタデータ) (2023-06-23T15:21:52Z) - Examining Inter-Consistency of Large Language Models Collaboration: An
In-depth Analysis via Debate [41.949869545423375]
大きな言語モデル(LLM)は、様々なアプリケーションで印象的な機能を示しているが、それでも様々な矛盾問題に直面している。
LLMが効果的に協力して共有目標のコンセンサスを達成するためには,コモンセンス推論に焦点をあてる。
我々の研究は,LLM間の一貫性の理解に寄与し,今後のコラボレーション手法開発の基礎を築いた。
論文 参考訳(メタデータ) (2023-05-19T11:15:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。