論文の概要: Mergenetic: a Simple Evolutionary Model Merging Library

• arxiv url: http://arxiv.org/abs/2505.11427v1
• Date: Fri, 16 May 2025 16:43:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.669834
• Title: Mergenetic: a Simple Evolutionary Model Merging Library
• Title（参考訳）: Mergenetic: シンプルな進化モデルマージライブラリ
• Authors: Adrian Robert Minut, Tommaso Mencattini, Andrea Santilli, Donato Crisostomi, Emanuele Rodolà,
• Abstract要約: 進化モデルマージのためのオープンソースライブラリであるMergeneticを紹介する。 我々は,メルジェネティックが,控えめなハードウェアを用いてタスクや言語間で競合する結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 14.791853860278914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging allows combining the capabilities of existing models into a new one - post hoc, without additional training. This has made it increasingly popular thanks to its low cost and the availability of libraries that support merging on consumer GPUs. Recent work shows that pairing merging with evolutionary algorithms can boost performance, but no framework currently supports flexible experimentation with such strategies in language models. We introduce Mergenetic, an open-source library for evolutionary model merging. Mergenetic enables easy composition of merging methods and evolutionary algorithms while incorporating lightweight fitness estimators to reduce evaluation costs. We describe its design and demonstrate that Mergenetic produces competitive results across tasks and languages using modest hardware.
• Abstract（参考訳）: モデルマージにより、追加のトレーニングなしで、既存のモデルの機能を新しいモデル - ポストホックに組み合わせることができる。 これにより、コストが低くなり、コンシューマGPUのマージをサポートするライブラリが利用可能になったことで、ますます人気が高まっている。 最近の研究によると、進化的アルゴリズムと組み合わせることでパフォーマンスが向上するが、言語モデルにおけるこのような戦略による柔軟な実験をサポートするフレームワークは存在しない。 進化モデルマージのためのオープンソースライブラリであるMergeneticを紹介する。 マージェネティックは、軽量なフィットネス推定器を取り入れて評価コストを削減しつつ、マージェネティックな手法と進化アルゴリズムの簡単な構成を可能にする。 本稿では,メルジェネティックなハードウェアを用いて,タスクや言語間で競合する結果が得られることを示す。

関連論文リスト

• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• MERGE$^3$: Efficient Evolutionary Merging on Consumer-grade GPUs [14.791853860278914]
  MERGE$3$は、単一のGPU上での進化的マージを可能にする効率的なフレームワークである。 MerGE$3$は、評価のためのデータセットの削減、アイテム応答理論(IRT)を用いたモデル能力の推定、IRTベースのパフォーマンス推定器による最適なマージの進化によってこれを達成します。 提案手法は,言語間の知識を変換し,計算オーバーヘッドを大幅に低減した,最先端の多言語・多言語統合を実現する。
  論文  参考訳（メタデータ） (2025-02-09T14:24:16Z)
• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Merging in a Bottle: Differentiable Adaptive Merging (DAM) and the Path from Averaging to Automation [0.9084344604313794]
  本稿では,モデルマージ手法を複雑度の範囲にわたって検討する。 本稿では,効率よく適応的なマージ手法である微分適応マージ(DAM)を導入する。 以上の結果から,モデル類似度が高い場合,モデルソープのような単純な平均化手法でさえ競争力を発揮することが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-10T20:58:29Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence [77.78795329701367]
  本稿では,進化アルゴリズムと並列化強化学習を組み合わせたフレームワークであるDARLEIを提案する。 我々はDARLEIの性能を様々な条件で特徴付け、進化形態の多様性に影響を与える要因を明らかにした。 今後DARLEIを拡張して、よりリッチな環境における多様な形態素間の相互作用を取り入れていきたいと考えています。
  論文  参考訳（メタデータ） (2023-12-08T16:51:10Z)
• AdaLead: A simple and robust adaptive greedy search algorithm for sequence design [55.41644538483948]
  我々は、容易で、拡張性があり、堅牢な進化的欲求アルゴリズム(AdaLead)を開発した。 AdaLeadは、様々な生物学的に動機づけられたシーケンスデザインの課題において、アートアプローチのより複雑な状態を克服する、驚くほど強力なベンチマークである。
  論文  参考訳（メタデータ） (2020-10-05T16:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。