論文の概要: Joint Null-Space Projection for Data-Free Model Merging
- arxiv url: http://arxiv.org/abs/2611.17103v1
- Date: Thu, 12 Nov 2026 17:01:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.561315
- Title: Joint Null-Space Projection for Data-Free Model Merging
- Title(参考訳): データフリーモデルマージのための連成Null空間投影
- Abstract要約: 独立して微調整されたチェックポイントを単一のマルチタスクモデルにマージするには、データ、ラベル、勾配ステップが不要である。
我々は、マージをサブスペース干渉問題として再放送する。
8つのCLIP画像分類タスクにおいて、JNSPはViT-B/16の専門家を1つの画像を用いることなく平均精度89.45%にマージする。
- 参考スコア(独自算出の注目度): 3.18088418556364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Merging independently fine-tuned checkpoints into a single multi-task model requires no data, no labels, and no gradient steps. In practice the task vectors of different tasks interfere, and the standard remedies--averaging, magnitude pruning, sign election--operate entry by entry, ignoring that each delta induces a low-dimensional update on the hidden features it acts upon. We recast merging as a subspace interference problem. For every two-dimensional weight tensor we take the top-r right-singular subspace of each task's delta--the input directions along which that task moves the representation most--and remove from each task vector the component lying in the union of the other tasks' subspaces. The resulting Joint Null-Space Projection (JNSP) is closed-form and order-independent, needs no forward pass, and is defined entirely by the checkpoint set. On eight CLIP image-classification tasks JNSP merges ViT-B/16 experts to 89.45% average accuracy without using a single image, 11.88 points above the strongest parameter-wise training-free baseline (TIES-Merging, 77.57%), 14.22 above Task Arithmetic, and 0.98 above WUDI's data-free consensus merge (88.47%). The gain holds across three backbones on the independently trained TALL release (+10.8, +12.6, +9.1 over TIES for ViT-B/16, ViT-B/32, ViT-L/14) and replicates there at 89.20%; controls confirm the source--a single shared subspace instead of per-task ones loses 2.9 points, and a sequential variant collapses to 69.6%. On RoBERTa-large the same projection underperforms plain task arithmetic, which we report rather than hide. Code is available at https://github.com.
- Abstract(参考訳): 独立して微調整されたチェックポイントを単一のマルチタスクモデルにマージするには、データ、ラベル、勾配ステップが不要である。
実際には、異なるタスクのタスクベクターが干渉し、標準の修正 -- 警告、マグニチュードプルーニング、署名による選挙- エントリによるエントリの操作 - 各デルタは、それが実行している隠れた機能に対する低次元の更新を誘導することを無視する。
我々は、マージをサブスペース干渉問題として再放送する。
各2次元の重みテンソルに対して、各タスクのデルタの右特異部分空間、すなわちそのタスクが最も多く動く入力方向を、各タスクベクトルから他のタスクのサブ空間の結合にある成分を除去する。
JNSP (Joint Null-Space Projection) はクローズド形式であり、順序に依存しない。
8つのCLIP画像分類タスクにおいて、JNSPはViT-B/16の専門家を1つのイメージを使わずに平均精度89.45%にマージし、11.88ポイントがTIES-Merging、77.57%、14.22ポイントがTask Arithmetic、0.98ポイントがWUDIのデータフリーコンセンサスマージ(88.47%)である。
独立に訓練されたTALLリリース(+10.8, +12.6, +9.1 over TIES for ViT-B/16, ViT-B/32, ViT-L/14)の3つのバックボーンにまたがり、89.20%で再現される。
RoBERTaの場合、同じプロジェクションは、隠れるのではなく報告するプレーンなタスク演算を過小評価します。
コードはhttps://github.com.comで入手できる。
関連論文リスト
- One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。
また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。
Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
論文 参考訳(メタデータ) (2026-09-20T14:54:35Z) - Cut-ViT: Task-Specific Model Pruning via Gram Anchoring Subspace Consistency [71.81785123423516]
そこで本稿では,視覚基盤モデルのプルーニングのためのタスク固有のプルーニングパイプラインであるCut-ViTを提案する。
基底非依存および残留制約は、ネイティブモデルとプルーニングされたDINOv3モデルのグラム部分空間を整列するために採用される。
実験によると、Cut-ViTは1つのA100 GPU上で1分程度必要であり、様々な範囲で作業を行うことができる。
論文 参考訳(メタデータ) (2026-08-28T11:25:36Z) - The Integer Alibi: Localizing Cross-Kernel Divergence in INT8-Quantized LLM Inference [0.10152838128195468]
同じスケールのINT8 GEMMインターフェースを実装した2つのGPUカーネルは通常、交換可能である。
チェックポイント、プロンプト、ハードウェア、推論エンジン、デコード、量子化設定を固定し、vLLM内のINT8リニアカーネルのみを交換する。
1.7B では、各アームはコールドリスタートでビット・フォー・ビットを再生するが、実行したエンドツーエンドの比較(0/8、0/16、0/64)では、腕は一致しない。
論文 参考訳(メタデータ) (2026-08-13T20:34:36Z) - First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers [0.05729426778193398]
マルチタスクのLORA操作点付近で同じハーネスで8つの特性を測定する。
テストスケール10-2$までの1方向の検証ウィンドウが共有されているが、ペアの合成や更新順序に対する普遍半径は存在しない。
論文 参考訳(メタデータ) (2026-07-18T13:43:44Z) - DC-Merge: Improving Model Merging with Directional Consistency [62.02490833158024]
DC-Mergeは方向整合モデルマージの手法である。
各タスクベクトルのエネルギー分布は、その特異値を滑らかにすることで均衡する。
ビジョンとビジョン言語ベンチマークの実験では、DC-Mergeは一貫して最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-03-06T13:04:25Z) - MASS: MoErging through Adaptive Subspace Selection [55.03293736484465]
モデルマージの新しいアプローチであるMASS(MoErging through Adaptive Subspace Selection)を提案する。
MASSはタスクごとに最も健全な特異なコンポーネントのみを格納し、それらを共有モデルにマージする。
我々は,8,14,20タスクのベンチマークに対して,ViT-B-16,ViT-B-32,ViT-L-14を用いて,CLIPに基づく画像分類のMASSを評価する。
論文 参考訳(メタデータ) (2025-04-06T08:49:52Z) - Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
モデルマージのための適応重み分散法を提案する。
余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
論文 参考訳(メタデータ) (2024-11-27T20:08:55Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳(メタデータ) (2024-05-13T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。