論文の概要: Weight Weaving: Parameter Pooling for Data-Free Model Merging

• arxiv url: http://arxiv.org/abs/2510.13921v1
• Date: Wed, 15 Oct 2025 10:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.54416
• Title: Weight Weaving: Parameter Pooling for Data-Free Model Merging
• Title（参考訳）: ウェイトウィービング:データフリーモデルマージのためのパラメータポーリング
• Authors: Levy Chaves, Eduardo Valle, Sandra Avila,
• Abstract要約: Weight Weavingは、$lambda$の値検索空間にモデルの重みをプールするプラグイン・アンド・プレイ技術です。 提案手法は複数のモデルマージ手法の性能を一貫して改善し,データフリー環境では最大15.9ポイントの精度向上を実現している。
• 参考スコア（独自算出の注目度）: 7.490016490735962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging provides a cost-effective and data-efficient combination of specialized deep neural networks through parameter integration. This technique leverages expert models across downstream tasks without requiring retraining. Most model merging approaches critically depend on scaling hyper-parameters $\lambda$, which weight each model's contribution globally or individually. Principled approaches for setting scaling factors without accessing any data (data-free) are scarce, often leading researchers to tune $\lambda$ using privileged data from the evaluation set, which is obviously unfeasible in practice. To address this limitation, we introduce Weight Weaving, a plug-and-play technique that pools model weights across $\lambda$ values search space using user-defined pooling functions, such as averaging, random selection, or even existing model merging methods. Our method demonstrates high modularity, imposing minimal constraints on the search space. It operates orthogonally to existing model merging methods and eliminates evaluation data requirements. We validate Weight Weaving across three ViT variants in three experimental setups: vision multi-task learning, vision continual learning, and domain generalization. Our method consistently improves the performance of several model merging methods, achieving average accuracy gains of up to 15.9 percentage points in a data-free setting.
• Abstract（参考訳）: モデルマージは、パラメータ統合による特別なディープニューラルネットワークの費用対効果とデータ対効果の組み合わせを提供する。 このテクニックは、ダウンストリームタスクにまたがって専門家モデルを活用する。 ほとんどのモデルマージアプローチはハイパーパラメータのスケーリングに大きく依存します。 データにアクセスせずにスケールファクタを設定するための原則的なアプローチは不十分で、しばしば研究者は評価セットから特権データを使って$\lambda$をチューニングする。 この制限に対処するために、Weight Weavingは、平均化、ランダム選択、あるいは既存のモデルマージメソッドのようなユーザ定義のプール機能を使用して、$\lambda$値の検索空間にモデルの重みをプールする、プラグアンドプレイ技術を紹介します。 本手法は,探索空間に最小限の制約を課し,高いモジュラリティを示す。 既存のモデルマージメソッドと直交して動作し、評価データ要求を排除します。 Weight Weaving across three ViT variants in three experiments: vision multi-task learning, vision continual learning, and domain generalization。 提案手法は複数のモデルマージ手法の性能を一貫して改善し,データフリー環境では最大15.9ポイントの精度向上を実現している。

関連論文リスト

• PSO-Merging: Merging Models Based on Particle Swarm Optimization [36.641774346671504]
  我々は、Particle Swarm Optimization(PSO)に基づく新しいデータ駆動マージ手法であるPSO-Mergingを紹介する。 提案手法では,素粒子群を事前学習モデル,エキスパートモデル,スパシファイドエキスパートモデルで初期化する。 次に、複数の繰り返しを行い、最終的な大域的最適粒子がマージモデルとして機能する。
  論文  参考訳（メタデータ） (2025-08-27T12:52:36Z)
• Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach [65.6966065843227]
  Iterative Reweight-then-IROは、凍結ベースモデルのRLスタイルアライメントを実行するフレームワークである。 テスト時には、値関数を使用して、検索ベースの最適化プロセスを介してベースモデル生成をガイドする。 特に、ユーザは、OpenAIの強化微調整(RFT)と同様、自身のデータセットにモデルをアライメントするためにIROを適用することができる。
  論文  参考訳（メタデータ） (2025-06-21T21:49:02Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• FineGates: LLMs Finetuning with Compression using Stochastic Gates [7.093692674858257]
  大規模言語モデル(LLM)は、高い計算要求のため、完全な微調整に重大な課題をもたらす。 低ランクのアダプタ層を学習するなど、軽量なファインタニング技術が提案されている。 本稿では,フリーズベースモデルとタスク固有適応を同時に分散するゲートに基づくアダプタモデルを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:33:05Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。