論文の概要: Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence
- arxiv url: http://arxiv.org/abs/2410.11163v1
- Date: Tue, 15 Oct 2024 00:59:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:02:49.425832
- Title: Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence
- Title(参考訳): Model Swarms: Swarm Intelligenceを通じてLLMエキスパートに適応するためのコラボレーション検索
- Authors: Shangbin Feng, Zifeng Wang, Yike Wang, Sayna Ebrahimi, Hamid Palangi, Lesly Miculicich, Achin Kulshrestha, Nathalie Rauschmayr, Yejin Choi, Yulia Tsvetkov, Chen-Yu Lee, Tomas Pfister,
- Abstract要約: 我々は,Swarmインテリジェンスを介してLLMを適応させる協調探索アルゴリズムであるModel Swarmsを提案する。
モデルSwarmsは、LLMの専門家を1つのタスク、マルチタスクドメイン、報酬モデル、そして多様な人間の興味に柔軟に適用できることを示します。
- 参考スコア(独自算出の注目度): 90.91152752062546
- License:
- Abstract: We propose Model Swarms, a collaborative search algorithm to adapt LLMs via swarm intelligence, the collective behavior guiding individual systems. Specifically, Model Swarms starts with a pool of LLM experts and a utility function. Guided by the best-found checkpoints across models, diverse LLM experts collaboratively move in the weight space and optimize a utility function representing model adaptation objectives. Compared to existing model composition approaches, Model Swarms offers tuning-free model adaptation, works in low-data regimes with as few as 200 examples, and does not require assumptions about specific experts in the swarm or how they should be composed. Extensive experiments demonstrate that Model Swarms could flexibly adapt LLM experts to a single task, multi-task domains, reward models, as well as diverse human interests, improving over 12 model composition baselines by up to 21.0% across tasks and contexts. Further analysis reveals that LLM experts discover previously unseen capabilities in initial checkpoints and that Model Swarms enable the weak-to-strong transition of experts through the collaborative search process.
- Abstract(参考訳): 本研究では,Swarmインテリジェンスを用いた協調探索アルゴリズムであるModel Swarmsを提案する。
具体的には、Model SwarmsはLLMの専門家とユーティリティ関数のプールから始まる。
モデル間の最良のチェックポイントによってガイドされ、多様なLLM専門家が協力して重量空間を移動し、モデル適応の目的を表すユーティリティ関数を最適化する。
既存のモデル構成アプローチと比較して、Model Swarmsはチューニング不要のモデル適応を提供し、200のサンプルしか持たない低データレシスタンスで機能し、Swarmの特定の専門家や構成方法に関する仮定を必要としない。
大規模な実験により、Model SwarmsはLLMの専門家を単一のタスク、マルチタスクドメイン、報酬モデル、そして多様な人間の興味に柔軟に適用し、タスクとコンテキストをまたいだ最大21.0%のモデル構成ベースラインを改善できることを示した。
さらなる分析により、LLMの専門家は、初期チェックポイントでこれまで見つからなかった機能を発見し、Model Swarmsは、協調的な検索プロセスを通じて専門家の弱々しい移行を可能にすることが明らかになった。
関連論文リスト
- EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳(メタデータ) (2024-05-23T05:25:45Z) - Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。
ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。
我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
論文 参考訳(メタデータ) (2024-04-25T17:39:50Z) - Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。
本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
論文 参考訳(メタデータ) (2024-04-19T08:52:22Z) - Learning to Decode Collaboratively with Multiple Language Models [37.31339648499042]
本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。
復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
論文 参考訳(メタデータ) (2024-03-06T17:23:28Z) - Can LLMs Fix Issues with Reasoning Models? Towards More Likely Models
for AI Planning [26.239075588286127]
これは、大規模言語モデル(LLM)の自動化計画タスクにおけるモデル空間の編集を目的とした、最初の研究である。
LLMの性能とサーチ(CS)の対比を実証的に示す。
実験の結果,今後の計画課題に対するモデル空間推論のエキサイティングな世界へのさらなる進出を示唆する有望な成果が示された。
論文 参考訳(メタデータ) (2023-11-22T22:27:47Z) - Routing to the Expert: Efficient Reward-guided Ensemble of Large
Language Models [69.51130760097818]
本研究では,報奨誘導型ルーティング手法であるZooterを提案する。
さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
論文 参考訳(メタデータ) (2023-11-15T04:40:43Z) - Large Language Model for Multi-objective Evolutionary Optimization [26.44390674048544]
多目的進化アルゴリズム(MOEA)は多目的最適化問題(MOP)を解決する主要な方法である
近年、MOEAにおいて手作業で設計された演算子を学習ベースの演算子に置き換える試みが試みられている。
本研究は,MOEA演算子の設計に強力な大規模言語モデル(LLM)を活用する新しいアプローチについて検討する。
論文 参考訳(メタデータ) (2023-10-19T07:46:54Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2022-12-15T18:59:52Z) - Model ensemble instead of prompt fusion: a sample-specific knowledge
transfer method for few-shot prompt tuning [85.55727213502402]
我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。
我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。
SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
論文 参考訳(メタデータ) (2022-10-23T01:33:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。