論文の概要: CrossMean: Model Merging by Pairing Merged and Expert Activations

• arxiv url: http://arxiv.org/abs/2610.14762v1
• Date: Sat, 10 Oct 2026 09:37:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 11:49:50.606688
• Title: CrossMean: Model Merging by Pairing Merged and Expert Activations
• Title（参考訳）: CrossMean: マージとエキスパートアクティベーションのペアリングによるモデルマージ
• Abstract要約: モデルマージは、微調整された専門家をトレーニングせずにひとつのネットワークに結合し、クローズドフォームメソッドはその入力アクティベーションの統計から各マージされたレイヤを計算する。 最近の研究は、これらの統計を統合されたモデルで再測定するが、それでも1つのネットワークから形成している。 ここではCrossMeanを紹介します。これは、この行列を一方的に、ペアがマージされ、専門家がアクティベーションされる双線形統計量に置き換えます。
• 参考スコア（独自算出の注目度）: 17.19213923041099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging combines fine-tuned experts into one network without retraining, and closed-form methods compute each merged layer from statistics of its input activations. However, these statistics are measured on a single expert, while in the merged model, each layer receives activations from the merged layers that precede it. Recent work re-measures these statistics in the merged model but still forms them from a single network. We formulate closed-form methods as a linear system and show that they use the same matrix on both sides. We then introduce CrossMean, which replaces this matrix on one side with a bilinear statistic that pairs merged and expert activations. From the same statistics, we also derive a label-free criterion that indicates the task sets in which accounting for the merged activations improves the merge more. Empirically, task sets with a lower criterion value show a larger improvement. On the eight-task benchmark of each vision backbone that we tested and on BERT encoders, CrossMean improves on merging with statistics measured on the experts, and with all linear layers merged, it also improves on re-measuring these statistics in the merged model. These results suggest that merging benefits from pairing merged and expert activations.
• Abstract（参考訳）: モデルマージは、微調整された専門家をトレーニングせずにひとつのネットワークに結合し、クローズドフォームメソッドはその入力アクティベーションの統計から各マージされたレイヤを計算する。 しかし、これらの統計は単一の専門家で測定される一方、マージされたモデルでは、各レイヤはその前のマージされたレイヤからアクティベーションを受け取る。 最近の研究は、これらの統計を統合されたモデルで再測定するが、それでも1つのネットワークから形成している。 線形系として閉形式法を定式化し、両辺で同じ行列を用いることを示す。 次に、CrossMeanを紹介します。これは、この行列を片側で、ペアがマージされ、専門家がアクティベーションする双線形統計量に置き換えます。 同じ統計量から,統合されたアクティベーションを考慮したタスクセットがマージをより改善することを示すラベルフリーな基準も導出する。 経験的に、基準値の低いタスクセットは、より大きな改善を示す。 BERTエンコーダでテストした各ビジョンバックボーンの8タスクベンチマークでは、CrossMeanは専門家の計測値とのマージを改善し、すべてのリニアレイヤをマージすることで、マージされたモデルでのこれらの統計の再測定も改善します。 これらの結果から,ペアリングとエキスパートアクティベーションの融合によるメリットが示唆された。

関連論文リスト

• Mixture-Trained Merging for Unified Multi-Objective Models [15.194067100704686]
  Mixture-Trained Merging (MTM) は、単一の目的ではなく、客観的なデータミックスで各ブランチを訓練する。 MTMは、ブレンドモデルの評価を低コストの信号として使用し、高価なデータ混合処理を回避している。 単純なグリッド探索を超えてスケールするために、MTMはqNEHVIベースの多目的ベイズ最適化を用いる。
  論文  参考訳（メタデータ） (2026-10-01T07:37:37Z)
• When Model Merging Rivals Joint Multi-Task Reinforcement Learning: A Task-Vector Geometry Analysis [0.16921396880325779]
  LOOPを使用したAppWorldエージェントベンチマークでは、トレーニングの難しさ-1と難易度-2のQwen3-8Bスペシャリスト。 私たちはそれら(TIES、RAM+)をマージし、同じデータ上で共同でトレーニングされたモデルに対して結果を落とします。 タスクゴール完了では、マージは共同RLと一致し、すべてのマージ変種は統計的に区別できない。
  論文  参考訳（メタデータ） (2026-07-17T15:41:09Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Representation Similarity: A Better Guidance of DNN Layer Sharing for Edge Computing without Training [3.792729116385123]
  本稿では,表現類似度Sで導かれる表現をエッジで共有することで,新しいモデルマージ方式を提案する。 Pearson correlation Coefficient |r| > 0.94 than other metrics。
  論文  参考訳（メタデータ） (2024-10-15T03:35:54Z)
• Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
  相関解析に基づくCCAマージを提案する。 2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
  論文  参考訳（メタデータ） (2024-07-07T14:21:04Z)
• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• An Empirical Study of Multimodal Model Merging [148.48412442848795]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本稿では,重み間の距離を推定し,マージ結果の指標となる2つの指標を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。