論文の概要: Auto-FlexSwitch: Efficient Dynamic Model Merging via Learnable Task Vector Compression

• arxiv url: http://arxiv.org/abs/2604.28109v1
• Date: Thu, 30 Apr 2026 16:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.207644
• Title: Auto-FlexSwitch: Efficient Dynamic Model Merging via Learnable Task Vector Compression
• Title（参考訳）: Auto-FlexSwitch: 学習可能なタスクベクトル圧縮による効率的な動的モデルマージ
• Authors: Junqi Gao, Dazhi Zhang, Zhichang Guo, Biqing Qi, Yi Ran, Wangmeng Zuo,
• Abstract要約: タスクベクトルを3つのコンパクトなコンポーネントに分解するT-Switchを提案する。 次に,タスクベクトルを自動生成するトレーニングフリーマージスキームであるAuto-Switchを紹介する。 本稿では,高効率なタスクベクトル圧縮をサポートする動的モデルマージ手法であるAuto-FlexSwitchを提案する。
• 参考スコア（独自算出の注目度）: 54.12624130407679
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Model merging has attracted attention as an effective path toward multi-task adaptation by integrating knowledge from multiple task-specific models. Among existing approaches, dynamic merging mitigates performance degradation caused by conflicting parameter updates across tasks by flexibly combining task-specific parameters at inference time, thereby maintaining high performance. However, these methods require storing independent parameters for each task, resulting in prohibitive storage overhead. To address this issue, we first experimentally demonstrate that the fine-tuned weight increments (referred to as task vectors) exhibit an impulse-like activation pattern and high robustness to low-bit representations. Driven by this insight, we propose T-Switch, which decomposes task vectors into three compact components: a binary sparse mask, a sign vector, and a scalar scaling factor, achieving high-fidelity approximation at high compression ratios. We then introduce Auto-Switch, a training-free merging scheme that automatically composes task vectors via feature similarity retrieval. Building on this, we develop Auto-Switch, a training-free merging scheme that automatically assembles task vectors through feature similarity retrieval. Furthermore, to transform task vector sparsification and quantization from static rules to adaptive learning, we propose FlexSwitch, a learnable framework which jointly optimizes the compression strategy for each model unit via Learnable Gating Sparsification (LGS) and Bit-width Adaptive Selection (BAS), while employing the Sparsity-Aware Storage Strategy (SASS) to select the optimal storage encoding structure. Finally, by incorporating a K-Nearest Neighbor (KNN) inference scheme with a learnable low-rank metric, we present Auto-FlexSwitch, a dynamic model merging approach that supports highly efficient task vector compression.
• Abstract（参考訳）: モデルマージは、複数のタスク固有のモデルから知識を統合することで、マルチタスク適応への効果的な経路として注目されている。 従来のアプローチでは、動的マージはタスク間のパラメータ更新の矛盾に起因するパフォーマンス劣化を軽減し、推論時にタスク固有のパラメータを柔軟に組み合わせ、高いパフォーマンスを維持する。 しかし、これらの方法は各タスクに独立したパラメータを格納する必要があるため、結果としてストレージのオーバーヘッドは禁じられる。 この問題に対処するために、まず、微調整された重み付け(タスクベクトルと呼ばれる)がインパルス的な活性化パターンを示し、低ビット表現に対して高い堅牢性を示すことを実験的に実証した。 この知見に基づいて,タスクベクトルを2次元スパースマスク,符号ベクトル,スカラースケーリング係数の3つのコンパクト成分に分解し,高い圧縮比で高忠実度近似を実現するT-Switchを提案する。 次に、特徴類似性検索によってタスクベクトルを自動的に構成する、トレーニング不要なマージスキームであるAuto-Switchを紹介する。 そこで我々は,特徴類似性検索によってタスクベクトルを自動生成する,トレーニング不要なマージスキームであるAuto-Switchを開発した。 さらに,静的な規則から適応学習へのタスクベクトルスペーシフィケーションと量子化を変換するために,学習可能ゲーティングスペーシフィケーション(LGS)とビット幅適応選択(BAS)を通じて各モデルユニットの圧縮戦略を協調的に最適化する学習可能なフレームワークであるFlexSwitchを提案する。 最後に、K-Nearest Neighbor(KNN)推論スキームを学習可能な低ランクメトリックに組み込むことで、高効率なタスクベクトル圧縮をサポートする動的モデルマージアプローチであるAuto-FlexSwitchを提案する。

関連論文リスト

• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• Controllable-LPMoE: Adapting to Challenging Object Segmentation via Dynamic Local Priors from Mixture-of-Experts [16.21786310193235]
  制御可能LPMoEと呼ばれる、トレーニング可能なパラメータが少ない新しい動的事前学習パラダイムを提案する。 入力画像から多種多様な局所前駆体を異種畳み込みによりキャプチャする軽量な動的混合局所前駆体抽出器を構築した。 また、コサインアラインな変形性アテンションとチャネル指向適応スケールエンハンスメントを利用した双方向インタラクションアダプタを設計する。
  論文  参考訳（メタデータ） (2025-10-24T03:03:59Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation [28.417947631789783]
  SyMergeは1つのタスク固有のレイヤとマージ係数を共同で最適化する軽量フレームワークである。 SyMergeは、ビジョン、密度予測、NLPベンチマークを越えて最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-12-26T07:42:06Z)
• Less is More: Efficient Model Merging with Binary Task Switch [19.622432243113852]
  タスクベクトルを3つのコンポーネントに分解するタスクスイッチを導入する。 タスクベクトルを二項化形式で格納することで、T-Switchは効率的なタスクパラメータストレージを確保しながらパラメータ競合を緩和する。 実験の結果,本手法は既存のベースラインよりも大幅な性能向上を実現し,完全精度パラメータの記憶空間を1～3%しか必要としないことがわかった。
  論文  参考訳（メタデータ） (2024-11-24T14:47:13Z)
• DeGMix: Efficient Multi-Task Dense Prediction with Deformable and Gating Mixer [129.61363098633782]
  変形およびゲーティングミキサー(DeGMix)を用いた効率的なマルチタスク密度予測法を提案する。 提案したDeGMixはGFLOPを少なくし、現在のTransformerベースの競合モデルとCNNベースの競合モデルを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。