論文の概要: Surrogate Benchmarks for Model Merging Optimization

• arxiv url: http://arxiv.org/abs/2509.02555v1
• Date: Tue, 02 Sep 2025 17:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.135619
• Title: Surrogate Benchmarks for Model Merging Optimization
• Title（参考訳）: モデルマージ最適化のためのサロゲートベンチマーク
• Authors: Rio Akizuki, Yuya Kudo, Nozomu Yoshinari, Yoichi Hirose, Toshiyuki Nishimoto, Kento Uchida, Shinichi Shirakawa,
• Abstract要約: 我々は、ハイパーパラメータのマージ最適化のためのサロゲートベンチマークを開発する。 我々のベンチマークでは、マージモデルの性能をよく予測し、最適化アルゴリズムの挙動をシミュレートすることができる。
• 参考スコア（独自算出の注目度）: 2.579878570919875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging techniques aim to integrate the abilities of multiple models into a single model. Most model merging techniques have hyperparameters, and their setting affects the performance of the merged model. Because several existing works show that tuning hyperparameters in model merging can enhance the merging outcome, developing hyperparameter optimization algorithms for model merging is a promising direction. However, its optimization process is computationally expensive, particularly in merging LLMs. In this work, we develop surrogate benchmarks for optimization of the merging hyperparameters to realize algorithm development and performance comparison at low cost. We define two search spaces and collect data samples to construct surrogate models to predict the performance of a merged model from a hyperparameter. We demonstrate that our benchmarks can predict the performance of merged models well and simulate optimization algorithm behaviors.
• Abstract（参考訳）: モデルマージ技術は、複数のモデルの能力を単一のモデルに統合することを目的としている。 ほとんどのモデルマージ技術はハイパーパラメータを持ち、それらの設定はマージモデルの性能に影響を与える。 モデルマージにおけるハイパーパラメータのチューニングによりマージ結果が向上することが,既存のいくつかの研究で示されているので,モデルマージのためのハイパーパラメータ最適化アルゴリズムの開発は有望な方向である。 しかし、その最適化プロセスは計算コストがかかる。 本研究では,アルゴリズム開発と性能比較を低コストで実現するために,マージハイパーパラメータの最適化のためのサロゲートベンチマークを開発する。 2つの探索空間を定義し、データサンプルを収集して代理モデルを構築し、ハイパーパラメータからマージされたモデルの性能を予測する。 ベンチマークにより,統合モデルの性能をよく予測し,最適化アルゴリズムの挙動をシミュレートできることを実証する。

関連論文リスト

• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
  既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。 我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。 DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-04-26T18:31:14Z)
• AdaMMS: Model Merging for Heterogeneous Multimodal Large Language Models with Unsupervised Coefficient Optimization [86.8133939108057]
  異種MLLMに適した新しいモデルマージ手法であるAdaMMSを提案する。 提案手法は,マッピング,マージ,検索という3段階の課題に対処する。 ラベル付きデータ無しで異種MLLMをマージできる最初のモデルマージ手法として、AdaMMSは様々なビジョンベンチマークで過去のモデルマージ手法より優れている。
  論文  参考訳（メタデータ） (2025-03-31T05:13:02Z)
• Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
  モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。 MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
  論文  参考訳（メタデータ） (2025-03-27T16:21:53Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Extrapolation Merging: Keep Improving With Extrapolation and Merging [14.786100203787194]
  大規模言語モデル(LLM)は、異なる下流タスクを実行するために命令の微調整を必要とする。 モデルマージは、異なるモデルのパラメータを組み合わせることでパフォーマンスを向上させることを目的としている。 本稿では,余分な計算資源やデータを必要とすることなく,モデル性能の向上を継続するパラダイムであるExtrapolation Mergingを提案する。
  論文  参考訳（メタデータ） (2025-03-05T14:28:22Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Non-Uniform Parameter-Wise Model Merging [17.989809995141044]
  我々は新しいアプローチであるNon-uniformを導入する。 賢いモデルマージ(英: wise Model Merging、NP Merge)は、各モデルのコントリビューションを学習することでモデルをマージする手法である。 勾配ベースの最適化を使った最終モデルへのパラメータ。 提案手法の有効性を実証的に実証し, 過去の手法よりも優れていた各種アーキテクチャのモデルを複数設定でマージする手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-20T00:05:14Z)
• It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization [16.54335356612006]
  モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。 既存の方法は人間の知識や直観に大きく依存している。 限られた評価において、優れたモデルマージ構成を得るのは難しいです。
  論文  参考訳（メタデータ） (2024-06-29T16:34:23Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。