論文の概要: Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence

• arxiv url: http://arxiv.org/abs/2410.11163v1
• Date: Tue, 15 Oct 2024 00:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:49.425832
• Title: Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence
• Title（参考訳）: Model Swarms: Swarm Intelligenceを通じてLLMエキスパートに適応するためのコラボレーション検索
• Authors: Shangbin Feng, Zifeng Wang, Yike Wang, Sayna Ebrahimi, Hamid Palangi, Lesly Miculicich, Achin Kulshrestha, Nathalie Rauschmayr, Yejin Choi, Yulia Tsvetkov, Chen-Yu Lee, Tomas Pfister,
• Abstract要約: 我々は,Swarmインテリジェンスを介してLLMを適応させる協調探索アルゴリズムであるModel Swarmsを提案する。 モデルSwarmsは、LLMの専門家を1つのタスク、マルチタスクドメイン、報酬モデル、そして多様な人間の興味に柔軟に適用できることを示します。
• 参考スコア（独自算出の注目度）: 90.91152752062546
• License:
• Abstract: We propose Model Swarms, a collaborative search algorithm to adapt LLMs via swarm intelligence, the collective behavior guiding individual systems. Specifically, Model Swarms starts with a pool of LLM experts and a utility function. Guided by the best-found checkpoints across models, diverse LLM experts collaboratively move in the weight space and optimize a utility function representing model adaptation objectives. Compared to existing model composition approaches, Model Swarms offers tuning-free model adaptation, works in low-data regimes with as few as 200 examples, and does not require assumptions about specific experts in the swarm or how they should be composed. Extensive experiments demonstrate that Model Swarms could flexibly adapt LLM experts to a single task, multi-task domains, reward models, as well as diverse human interests, improving over 12 model composition baselines by up to 21.0% across tasks and contexts. Further analysis reveals that LLM experts discover previously unseen capabilities in initial checkpoints and that Model Swarms enable the weak-to-strong transition of experts through the collaborative search process.
• Abstract（参考訳）: 本研究では,Swarmインテリジェンスを用いた協調探索アルゴリズムであるModel Swarmsを提案する。 具体的には、Model SwarmsはLLMの専門家とユーティリティ関数のプールから始まる。 モデル間の最良のチェックポイントによってガイドされ、多様なLLM専門家が協力して重量空間を移動し、モデル適応の目的を表すユーティリティ関数を最適化する。 既存のモデル構成アプローチと比較して、Model Swarmsはチューニング不要のモデル適応を提供し、200のサンプルしか持たない低データレシスタンスで機能し、Swarmの特定の専門家や構成方法に関する仮定を必要としない。 大規模な実験により、Model SwarmsはLLMの専門家を単一のタスク、マルチタスクドメイン、報酬モデル、そして多様な人間の興味に柔軟に適用し、タスクとコンテキストをまたいだ最大21.0%のモデル構成ベースラインを改善できることを示した。 さらなる分析により、LLMの専門家は、初期チェックポイントでこれまで見つからなかった機能を発見し、Model Swarmsは、協調的な検索プロセスを通じて専門家の弱々しい移行を可能にすることが明らかになった。

関連論文リスト

• STAR: A Simple Training-free Approach for Recommendations using Large Language Models [36.18841135511487]
  大規模言語モデル(LLM)の最近の進歩は、レコメンデーションシステム(RecSys)タスクに有望な新しいアプローチを提供する。 LLMを利用するフレームワークを提案し、微調整を必要とせずに様々なレコメンデーションタスクに適用できる。 本手法はHits@10のパフォーマンスが23.8%,Toys and Gamesが37.5%,Sports and Outdoorsが1.8%であった。
  論文  参考訳（メタデータ） (2024-10-21T19:34:40Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Pooling And Attention: What Are Effective Designs For LLM-Based Embedding Models? [18.990655668481075]
  我々は,最後の層だけでなく,すべての隠蔽層の出力を横断的ネットワークを用いて変換する,新しいプーリング戦略であるMulti-Layers Trainable Poolingを提案する。 本稿では,LLMをベースとした埋め込みモデルの効果的なトレーニング戦略について述べる。
  論文  参考訳（メタデータ） (2024-09-04T14:01:48Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
  モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。 我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
  大規模言語モデル(LLM)は様々なタスクにおいて補完的な強みを示し、LLMアンサンブルの研究を動機付けている。 本稿では,各復号ステップで異なるLLMから得られる情報的確率分布を融合した学習自由アンサンブルフレームワークDeePEnを提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:52:22Z)
• Learning to Decode Collaboratively with Multiple Language Models [37.31339648499042]
  本稿では,複数の大規模言語モデル (LLM) に,トークンレベルで世代間をインターリーブすることで協調する手法を提案する。 復号化中のトークンレベルのコラボレーションは、各モデルの専門知識を、手元にある特定のタスクに合わせて統合することを可能にする。
  論文  参考訳（メタデータ） (2024-03-06T17:23:28Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。