論文の概要: Merge++: Universal Merge Refinement Through Data-Free Checkpoint Inversion

• arxiv url: http://arxiv.org/abs/2609.22886v1
• Date: Sat, 19 Sep 2026 08:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.580656
• Title: Merge++: Universal Merge Refinement Through Data-Free Checkpoint Inversion
• Title（参考訳）: Merge++: データフリーのチェックポイントインバージョンによるユニバーサルマージリファインメント
• Abstract要約: モデルマージは、微調整された専門家をトレーニングなしで1つのマルチタスクモデルに集約する。 既存のデータフリーメソッドはすべて、この問題に全重み空間でアプローチする。 本稿では,タスク表現型画像の合成に専門家チェックポイントを反転させることにより,この問題に対処するポストホック手法であるMerge++を提案する。
• 参考スコア（独自算出の注目度）: 30.1300323145944
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Model merging consolidates fine-tuned experts into one multi-task model without retraining. All existing data-free methods approach this problem entirely in weight space. Restricted to arithmetic on parameters, these methods never observe how each expert behaves, a signal that only emerges through forward evaluation. Accessing this behavioral signal requires inputs to evaluate on, which the data-free setting prohibits. We propose Merge++, a post-hoc method that addresses this by inverting the expert checkpoints to synthesize task-representative images, then distilling expert knowledge into the merged model using those images. Merge++ requires no additional data beyond the checkpoints themselves. It applies universally across merging algorithms and operates as a complementary refinement stage independent of the underlying weight-space method. The method consistently improves merging algorithms ranging from simple task arithmetic to state-of-the-art spectral methods, with average gains of +2 to +8 points and up to +25.9 on individual configurations.
• Abstract（参考訳）: モデルマージは、微調整された専門家をトレーニングなしで1つのマルチタスクモデルに集約する。 既存のデータフリーメソッドはすべて、この問題に全重み空間でアプローチする。 パラメータの算術に制限されたこれらの手法は、各専門家がどのように振る舞うかを決して観察しない。 この行動信号にアクセスするには、データフリー設定が禁止する入力を評価する必要がある。 本稿では,タスク表現型画像の合成に専門家のチェックポイントを反転させ,それらの画像を用いて専門家の知識を融合したモデルに抽出することで,この問題に対処するポストホック手法であるMerge++を提案する。 Merge++はチェックポイント自身以外の追加データを必要としない。 統合アルゴリズム全体にわたって普遍的に適用され、基礎となる重み空間法とは無関係に補完的な改良段階として機能する。 この手法は、単純なタスク演算から最先端のスペクトル法までのマージアルゴリズムを一貫して改善し、平均ゲインは+2から+8ポイント、個々の構成では+25.9まで向上する。

関連論文リスト

• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Weight Weaving: Parameter Pooling for Data-Free Model Merging [7.490016490735962]
  Weight Weavingは、$lambda$の値検索空間にモデルの重みをプールするプラグイン・アンド・プレイ技術です。 提案手法は複数のモデルマージ手法の性能を一貫して改善し,データフリー環境では最大15.9ポイントの精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-15T10:52:42Z)
• Kernel Representation and Similarity Measure for Incomplete Data [55.62595187178638]
  不完全データの類似性を測定することは、Webマイニング、レコメンデーションシステム、ユーザー行動分析において基本的な課題である。 従来のアプローチでは、不完全なデータを破棄するか、事前処理のステップとして計算を実行するかのいずれかであり、情報損失と類似性のバイアスが生じる。 本稿では,カーネルの特徴空間における不完全データ間の類似性を,元の空間における明示的な計算なしで直接計算する,新しい類似度尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-15T09:41:23Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Blind Asynchronous Over-the-Air Federated Edge Learning [15.105440618101147]
  Federated Edge Learning (FEEL)は、分散機械学習技術である。 本研究では,大気上のグローバルモデルのパラメータを復元する新しい同期のない手法を提案する。 提案アルゴリズムは, 理想的な同期シナリオに10ドル近く近づき, 単純な場合よりも4倍の精度で実行可能である。
  論文  参考訳（メタデータ） (2022-10-31T16:54:14Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
  グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。 凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。 提案手法のパラメータはエンドツーエンドでトレーニング可能である。
  論文  参考訳（メタデータ） (2021-06-30T08:57:01Z)
• Outlier-Robust Estimation: Hardness, Minimally Tuned Algorithms, and Applications [25.222024234900445]
  本稿では,外乱推定,一般化最大収束(G-MC),一般化最小正方形(G-TLS)の2つの統一式を提案する。 最悪の場合、(概して)外れ値の集合を見つけることは不可能である。 そこで我々は, 降圧器から降圧器を分離する方法を動的に決定する, 降圧器のリジェクションのための最小調整アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-29T21:06:13Z)
• Augmented Parallel-Pyramid Net for Attention Guided Pose-Estimation [90.28365183660438]
  本稿では、注意部分モジュールと微分可能な自動データ拡張を備えた拡張並列ピラミドネットを提案する。 我々は、データ拡張のシーケンスをトレーニング可能なCNNコンポーネントとして定式化する新しいポーズ検索空間を定義する。 特に,本手法は,挑戦的なCOCOキーポイントベンチマークとMPIIデータセットの最先端結果において,トップ1の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-17T03:52:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。