論文の概要: Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence

• arxiv url: http://arxiv.org/abs/2410.11163v1
• Date: Tue, 15 Oct 2024 00:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:49.425832
• Title: Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence
• Title（参考訳）: Model Swarms: Swarm Intelligenceを通じてLLMエキスパートに適応するためのコラボレーション検索
• Authors: Shangbin Feng, Zifeng Wang, Yike Wang, Sayna Ebrahimi, Hamid Palangi, Lesly Miculicich, Achin Kulshrestha, Nathalie Rauschmayr, Yejin Choi, Yulia Tsvetkov, Chen-Yu Lee, Tomas Pfister,
• Abstract要約: 我々は,Swarmインテリジェンスを介してLLMを適応させる協調探索アルゴリズムであるModel Swarmsを提案する。 モデルSwarmsは、LLMの専門家を1つのタスク、マルチタスクドメイン、報酬モデル、そして多様な人間の興味に柔軟に適用できることを示します。
• 参考スコア（独自算出の注目度）: 90.91152752062546
• License:
• Abstract: We propose Model Swarms, a collaborative search algorithm to adapt LLMs via swarm intelligence, the collective behavior guiding individual systems. Specifically, Model Swarms starts with a pool of LLM experts and a utility function. Guided by the best-found checkpoints across models, diverse LLM experts collaboratively move in the weight space and optimize a utility function representing model adaptation objectives. Compared to existing model composition approaches, Model Swarms offers tuning-free model adaptation, works in low-data regimes with as few as 200 examples, and does not require assumptions about specific experts in the swarm or how they should be composed. Extensive experiments demonstrate that Model Swarms could flexibly adapt LLM experts to a single task, multi-task domains, reward models, as well as diverse human interests, improving over 12 model composition baselines by up to 21.0% across tasks and contexts. Further analysis reveals that LLM experts discover previously unseen capabilities in initial checkpoints and that Model Swarms enable the weak-to-strong transition of experts through the collaborative search process.
• Abstract（参考訳）: 本研究では,Swarmインテリジェンスを用いた協調探索アルゴリズムであるModel Swarmsを提案する。 具体的には、Model SwarmsはLLMの専門家とユーティリティ関数のプールから始まる。 モデル間の最良のチェックポイントによってガイドされ、多様なLLM専門家が協力して重量空間を移動し、モデル適応の目的を表すユーティリティ関数を最適化する。 既存のモデル構成アプローチと比較して、Model Swarmsはチューニング不要のモデル適応を提供し、200のサンプルしか持たない低データレシスタンスで機能し、Swarmの特定の専門家や構成方法に関する仮定を必要としない。 大規模な実験により、Model SwarmsはLLMの専門家を単一のタスク、マルチタスクドメイン、報酬モデル、そして多様な人間の興味に柔軟に適用し、タスクとコンテキストをまたいだ最大21.0%のモデル構成ベースラインを改善できることを示した。 さらなる分析により、LLMの専門家は、初期チェックポイントでこれまで見つからなかった機能を発見し、Model Swarmsは、協調的な検索プロセスを通じて専門家の弱々しい移行を可能にすることが明らかになった。

関連論文リスト

• Heterogeneous Swarms: Jointly Optimizing Model Roles and Weights for Multi-LLM Systems [102.36545569092777]
  モデルの役割と重みを協調的に最適化し,マルチLLMシステムを設計するアルゴリズムであるヘテロジニアス・スウォームを提案する。 実験により、異種群は12タスクの平均18.5%で15のロールベースおよび/またはウェイトベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-02-06T21:27:11Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [64.13803241218886]
  推論問題に対するマルチエージェントLLMトレーニング(MALT)に向けた第一歩を提示する。 提案手法では,ヘテロジニアスLSMが割り当てられた逐次的マルチエージェント構成を用いる。 我々は,MATH,GSM8k,CQAにまたがるアプローチを評価し,MALT on Llama 3.1 8Bモデルでそれぞれ14.14%,7.12%,9.40%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Pooling And Attention: What Are Effective Designs For LLM-Based Embedding Models? [18.990655668481075]
  我々は,最後の層だけでなく,すべての隠蔽層の出力を横断的ネットワークを用いて変換する,新しいプーリング戦略であるMulti-Layers Trainable Poolingを提案する。 本稿では,LLMをベースとした埋め込みモデルの効果的なトレーニング戦略について述べる。
  論文  参考訳（メタデータ） (2024-09-04T14:01:48Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
  モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。 我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• Learning to Decode Collaboratively with Multiple Language Models [37.31339648499042]
  本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。 復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
  論文  参考訳（メタデータ） (2024-03-06T17:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。