論文の概要: When Privacy Hurts Mergeability: Geometry-Aware Model Merging under Differential Privacy
- arxiv url: http://arxiv.org/abs/2608.26655v1
- Date: Thu, 27 Aug 2026 06:08:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.25496
- Title: When Privacy Hurts Mergeability: Geometry-Aware Model Merging under Differential Privacy
- Title（参考訳）: プライバシがマージビリティを損なうとき - 異なるプライバシの下でのジオメトリを意識したモデルマージ
- Abstract要約: 差分的プライベートモデルマージの幾何学について検討し、プライベートタスクモデルのマージを困難にする2つの幾何学的障害を同定する。
差分プライベートタスクモデルのマージ性を向上する幾何認識フレームワークである textbfDP-Merging を提案する。
- 参考スコア（独自算出の注目度）: 21.15078698155692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model merging promises to construct a single multi-task model from independently fine-tuned task models without accessing the original task data. This makes it attractive when task data cannot be centralized, but released task models may still leak private fine-tuning data. Differential privacy (DP) provides a principled mechanism for limiting such leakage, yet its effect on model merging remains poorly understood. In this paper, we study the geometry of differentially private model merging and identify two geometric obstacles that make private task models difficult to merge: \emph{local sharpness}, which makes task losses sensitive to the parameter displacement induced by merging, and \emph{reference drift}, which measures the displacement of private task models from the shared pretrained initialization and amplifies cross-task interference. Based on these observations, we propose \textbf{DP-Merging}, a geometry-aware framework that improves the mergeability of differentially private task models. DP-Merging uses a DP-compatible sharpness-aware objective to guide each private task model toward flatter loss regions, and a reference-based alignment regularizer to keep task models close to the shared pretrained initialization. We derive a merge-gap upper bound showing that reducing local curvature and reference drift tightens the bound on the loss increase induced by merging. Experiments on vision and language tasks across multiple privacy budgets show that DP-Merging consistently improves private merged-model performance while preserving the privacy guarantees of the underlying DP fine-tuning procedures.
- Abstract（参考訳）: モデルマージは、オリジナルのタスクデータにアクセスすることなく、独立して微調整されたタスクモデルから単一のマルチタスクモデルを構築することを約束する。
これにより、タスクデータが集中できない場合に魅力的になるが、リリースされたタスクモデルは、プライベートな微調整データをリークする可能性がある。
差分プライバシー(DP)は、そのような漏洩を制限するための原則的なメカニズムを提供するが、モデルマージへの影響はよく分かっていない。
本稿では,個別タスクモデルの統合が困難となる2つの幾何学的障害を同定し,統合によって引き起こされるパラメータの変位に敏感なタスク損失を生じさせる「emph{local sharpness}」と,共有事前学習からプライベートタスクモデルの変位を測定し,クロスタスク干渉を増幅する「emph{reference drift}」について検討する。
これらの観測に基づいて、微分プライベートタスクモデルのマージ可能性を改善する幾何学的枠組みである「textbf{DP-Merging}」を提案する。
DP-MergingはDP互換のシャープネス対応目標を用いて、各プライベートタスクモデルをフラットな損失領域へ誘導し、参照ベースのアライメント正規化器を用いてタスクモデルを共有事前訓練初期化に近づける。
局所曲率と基準ドリフトを減少させることで, マージによる損失増加が抑制されることを示すマージギャップ上界を導出する。
複数のプライバシー予算にわたるビジョンと言語タスクの実験は、DP-Mergingが基礎となるDP微調整手順のプライバシー保証を維持しながら、プライベートマージモデルのパフォーマンスを一貫して改善していることを示している。
関連論文リスト
- CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging [59.836482609414816]
モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。
CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。
実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
論文 参考訳（メタデータ） (2026-09-02T08:21:28Z) - Saliency-Aware Model Merging [47.65036144170475]
モデルマージは、異なるデータセットに微調整された複数のタスク固有のモデルを、ドメイン間の習熟性を実行する統一アーキテクチャに統合することを目的としている。
現在のデータフリーモデルマージ手法は、層間依存関係や一様でない専門知識の分布を無視した単純なパラメータレベルに依存するため、スケールアップに苦労することが多い。
この研究は、構造的なプルーニング(SynFlowなど)から接続ベースのサリエンシの定式化に基づいて構築され、それらをデータフリーモデルマージ設定に拡張するSA-Mergingを提案する。
論文 参考訳（メタデータ） (2026-05-30T04:00:44Z) - Unlocking the Potential of Continual Model Merging: An ODE Perspective [0.42970700836450487]
CMM(Continuous Model Merging)は、反復的な再トレーニングなしにタスク適応モデルを順次組み込むことで、基礎モデルの迅速なカスタマイズを可能にする。
本稿では, 1ステップのエンドポイント更新ではなく, パラメータ空間の軌跡として各マージを定式化する,制御可能なフレームワークODE-Mを提案する。
論文 参考訳（メタデータ） (2026-05-19T06:03:20Z) - Resolving Interference (RI): Disentangling Models for Improved Model Merging [33.55896784776345]
クロスタスク干渉は、その構成モデルに対するマージモデルの表現におけるドリフトである。
本稿では、他のタスクの空間に直交する機能を持つように専門家モデルを切り離す軽量適応フレームワークであるResolving Interference(RI)を提案する。
RIは、最先端のマージ手法の性能を最大3.8%改善し、未確認領域への一般化を最大2.3%改善している。
論文 参考訳（メタデータ） (2026-03-13T17:59:50Z) - Model Merging in the Essential Subspace [78.5390284258307]
モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。
広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。
効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
論文 参考訳（メタデータ） (2026-02-23T00:33:38Z) - RobustMerge: Parameter-Efficient Model Merging for MLLMs with Direction Robustness [28.437105789298244]
RobustMergeは、方向ロバスト性を維持するために相補的なパラメータ適応を備えたトレーニング不要なパラメータ効率のマージ手法である。
多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
論文 参考訳（メタデータ） (2025-02-24T13:52:05Z) - Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。
既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。
我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
論文 参考訳（メタデータ） (2025-01-02T12:45:21Z) - TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。
モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。
既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。
本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
論文 参考訳（メタデータ） (2023-06-02T17:31:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。