論文の概要: Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space

• arxiv url: http://arxiv.org/abs/2607.01689v1
• Date: Thu, 02 Jul 2026 04:30:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.660209
• Title: Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space
• Title（参考訳）: 微調整パラメータ空間における確率的推論としてのモデルマージ
• Abstract要約: プロダクト・オブ・エグゼクティブ(PoE)シナリオの下で、確率的推論の新しい視点からモデルマージを定式化する。 エネルギー設計におけるフレームワークの特別な事例として,既存のモデルマージ手法がいくつか存在することを示す。 Cauchyのエキスパートをベースとした多角形PoEの設計でこの問題に対処する。
• 参考スコア（独自算出の注目度）: 16.602503149462738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging aims to combine existing single-task solutions into a multi-task solution without additional data-driven fine-tuning.~Most existing approaches achieve this using geometric properties of local solution spaces. However, such geometric views provide limited guidance for scoring how statistically useful each task-specific update direction is across tasks during merging. To address this, we formulate model merging from a new perspective of probabilistic inference under a product-of-experts (PoE) scenario where each single-task solution defines an energy-based expert model (EBM) over the merged parameters. We show that several existing model merging methods arise as special cases of our framework under energy designs that impose implicit Gaussian assumptions on directional residuals between merged and task-specific models. Empirically, we find that these residuals are often heavy-tailed which exposes a mismatch with the imposed light-tailed Gaussian structures. We address this with a heavy-tailed PoE design based on Cauchy experts, which better captures the observed residual behavior while admitting a provably convergent inference procedure. Experiments across multiple tasks and architectures show significant improvements over state-of-the-arts baselines. Our code is available at https://github.com/MinhLong210/PoE-EBM-Merging.git.
• Abstract（参考訳）: Model mergingは、既存のシングルタスクソリューションを、追加のデータ駆動の微調整なしでマルチタスクソリューションに統合することを目的としている。 ~既存のアプローチのほとんどは、局所解空間の幾何学的性質を用いてこれを達成している。 しかし、このような幾何学的視点は、統合中に各タスク固有の更新方向がいかに統計的に有用かを評価するための限られたガイダンスを提供する。 これを解決するために、各単一タスクソリューションがマージされたパラメータ上でエネルギーベースのエキスパートモデル(EBM)を定義するPoE(Product-of-experts)シナリオの下で、新しい確率的推論の観点からモデルマージを定式化する。 エネルギー設計におけるフレームワークの特別な場合として,既存のモデルマージ手法がいくつか存在し,マージモデルとタスク固有モデル間の方向残差について暗黙のガウス的仮定を課すことが示されている。 経験的に、これらの残留物はしばしば重い尾を持つが、これは軽い尾を持つガウス構造とのミスマッチを露呈する。 Cauchyのエキスパートをベースとした多角形PoEの設計でこの問題に対処する。 複数のタスクとアーキテクチャにわたる実験は、最先端のベースラインよりも大幅に改善されている。 私たちのコードはhttps://github.com/MinhLong210/PoE-EBM-Merging.gitで利用可能です。

関連論文リスト

• Learning to Recover Task Experts from a Multi-Task Merged Model [15.553883607402438]
  マルチタスクモデルマージは、複数のタスク固有の専門家を統一モデルに統合することを目的としているが、静的マージはパラメータ干渉に常に悩まされている。 このようなパラメータ摂動はアフィン変換としてモデル化でき、加算オフセットとして近似することができる。 Recover Task eXpert(Re)は、パラメータ干渉を解き、単一のマージされたチェックポイントからタスクエキスパートのパフォーマンスを回復するために、これらのオフセットを予測するフレームワークである。
  論文  参考訳（メタデータ） (2026-06-25T11:34:33Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration [14.503741632243646]
  マルチタスクモデルマージは、複数のタスク固有のエキスパートからの知識を統一モデルに統合することを目的としている。 既存の手法では、タスク固有の専門家と統一モデルの違いを最小限に抑える。 本稿では,タスク固有の専門家と統一モデルとの間の機能ドリフトを明示的に最小化する手法であるレイヤワイズ・タスクベクトル・マージを提案する。
  論文  参考訳（メタデータ） (2025-05-29T08:11:31Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• The Non-Local Model Merging Problem: Permutation Symmetries and Variance Collapse [25.002218722102505]
  モデルマージは、特定のタスクでトレーニングされた複数のエキスパートモデルの重みを、単一のマルチタスクモデルに効率的に結合することを目的としている。 この研究は、"非ローカル"マージのより困難なシナリオを探求する。 標準的なマージ技術は、この非局所的な環境で効果的に一般化できないことが多い。 本稿では,タスク毎のマージモデルの出力アクティベーションを再スケール・シフトするマルチタスク手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T17:41:59Z)
• Parameter Competition Balancing for Model Merging [13.66727853299506]
  PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。 PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-03T11:17:58Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Concrete Subspace Learning based Interference Elimination for Multi-task Model Fusion [86.6191592951269]
  一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。 本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T07:24:54Z)
• Merging by Matching Models in Task Parameter Subspaces [87.8712523378141]
  モデルマージは、個々のタスク固有のモデルを単一のマルチタスクモデルに安価に結合することを目的としている。 我々は、モデルマージに対するこのアプローチが、方程式の線形系を解くとみなす方法を定式化する。 共役勾配法は閉形式解より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T14:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。