論文の概要: RegMean++: Enhancing Effectiveness and Generalization of Regression Mean for Model Merging

• arxiv url: http://arxiv.org/abs/2508.03121v1
• Date: Tue, 05 Aug 2025 06:08:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.808363
• Title: RegMean++: Enhancing Effectiveness and Generalization of Regression Mean for Model Merging
• Title（参考訳）: RegMean++: モデルマージにおける回帰平均の有効性と一般化の促進
• Authors: The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen,
• Abstract要約: RegMean++は、シンプルなが効果的なRegMeanの代替品です。 RegMean++は、モデルをマージする層間の層内および層間依存関係をRegMeanの目的に明示的に組み込んでいる。 我々の実験によると、RegMean++はさまざまな設定でRegMeanよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 3.2230949286556627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regression Mean (RegMean), an approach that formulates model merging as a linear regression problem, aims to find the optimal weights for each linear layer in the merge model by minimizing the discrepancy in predictions between the merge and candidate models. RegMean provides a precise closed-form solution for the merging problem; therefore, it offers explainability and computational efficiency. However, RegMean merges each linear layer independently, overlooking how the features and information in the earlier layers propagate through the layers and influence the final prediction in the merge model. In this paper, we introduce RegMean++, a simple yet effective alternative to RegMean, that explicitly incorporates both intra- and cross-layer dependencies between merge models' layers into RegMean's objective. By accounting for these dependencies, RegMean++ better captures the behaviors of the merge model. Extensive experiments demonstrate that RegMean++ consistently outperforms RegMean across diverse settings, including in-domain (ID) and out-of-domain (OOD) generalization, sequential merging, large-scale tasks, and robustness under several types of distribution shifts. Furthermore, RegMean++ achieves competitive or state-of-the-art performance compared to various recent advanced model merging methods. Our code is available at https://github.com/nthehai01/RegMean-plusplus.
• Abstract（参考訳）: 回帰平均(RegMean)は、モデルマージを線形回帰問題として定式化するアプローチであり、マージモデルにおける各線形層に対する最適な重み付けを見つけることを目的としており、マージモデルと候補モデルの予測における相違を最小化することを目的としている。 RegMeanはマージ問題に対して正確なクローズドフォームソリューションを提供するため、説明可能性と計算効率を提供する。 しかし、RegMeanは各リニアレイヤを独立してマージし、以前のレイヤの特徴と情報がレイヤを通してどのように伝播し、マージモデルの最終的な予測に影響を与えるかを見下ろしている。 本稿では、RegMeanの単純な代替手段であるRegMean++を紹介し、モデル層間の層内および層間依存関係をRegMeanの目的に明示的に組み込む。 これらの依存関係を考慮することで、RegMean++はマージモデルの振る舞いをよりよくキャプチャする。 RegMean++は、ドメイン内(ID)やドメイン外(OOD)の一般化、シーケンシャルなマージ、大規模タスク、さまざまなタイプの分散シフト下での堅牢性など、さまざまな設定で一貫してRegMeanを上回っている。 さらに、RegMean++は、最新の高度なモデルマージメソッドと比較して、競争力や最先端のパフォーマンスを達成する。 私たちのコードはhttps://github.com/nthehai01/RegMean-plusplusで利用可能です。

関連論文リスト

• RegCL: Continual Adaptation of Segment Anything Model via Model Merging [6.868344361490698]
  本稿では,効率的なマルチドメイン知識統合のための非再生連続学習フレームワークであるRegCLを提案する。 RegCLはSAMの適応モジュールのパラメータをマージすることにより、モデルマージアルゴリズムを連続学習パラダイムに組み込む。 実験により、RegCLは複数のダウンストリームデータセット間で良好な連続学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-07-16T14:51:37Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging [18.650279202312614]
  分離直交メルジング手法(DO-Merging)を提案する。 パラメータを大きさと方向の成分に分離することにより、マージしたモデルの方向アライメントに対する大きさ差の影響を低減する。 我々は、視覚、言語、マルチモーダル領域にわたる広範な実験を通じて、提案したDO-Mergingは、既存のマージメソッドよりも、最小限のコストで大幅に高いパフォーマンスを達成することができることを検証した。
  論文  参考訳（メタデータ） (2025-05-21T16:34:37Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Model Assembly Learning with Heterogeneous Layer Weight Merging [57.8462476398611]
  モデル統合のための新しいパラダイムであるモデルアセンブリ学習(MAL)を紹介する。 MALは、様々なモデルのパラメータをオープンエンドモデル動物園に統合し、ベースモデルの能力を高める。
  論文  参考訳（メタデータ） (2025-03-27T16:21:53Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Representation Similarity: A Better Guidance of DNN Layer Sharing for Edge Computing without Training [3.792729116385123]
  本稿では,表現類似度Sで導かれる表現をエッジで共有することで,新しいモデルマージ方式を提案する。 Pearson correlation Coefficient |r| > 0.94 than other metrics。
  論文  参考訳（メタデータ） (2024-10-15T03:35:54Z)
• Vanishing Feature: Diagnosing Model Merging and Beyond [1.1510009152620668]
  結合モデルによる伝搬中に入力誘起特徴が減少する「消滅特徴」現象を同定する。 既存の正規化戦略は、消滅する特徴問題を的確に標的にすることで強化できることを示す。 初期層機能の保存に重点を置いたPFM(Preserve-First Merging')戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:06:26Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。