論文の概要: Parameter-Free Fine-tuning via Redundancy Elimination for Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2504.08915v2
• Date: Sun, 09 Nov 2025 01:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 14:55:59.913264
• Title: Parameter-Free Fine-tuning via Redundancy Elimination for Vision Foundation Models
• Title（参考訳）: ビジョン基礎モデルのための冗長除去によるパラメータフリー微調整
• Authors: Jiahuan Long, Tingsong Jiang, Wen Yao, Yizhe Xiong, Zhengqin Xu, Shuai Jia, Hanqing Liu, Chao Ma,
• Abstract要約: 本稿では,SAMモデルの冗長性を考察し,新しいパラメータフリー微調整法を提案する。 パラメータを調整する従来の微調整手法とは異なり、本手法は事前訓練された特徴の選択、再利用、強化を強調する。 ドメイン外のデータセットとドメイン内データセットの両方で実験を行い、本手法の有効性と有効性を示した。
• 参考スコア（独自算出の注目度）: 29.977749265185917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision foundation models (VFMs) have demonstrated remarkable capabilities in learning universal visual representations. However, adapting these models to downstream tasks conventionally requires parameter updates, with even parameter-efficient fine-tuning methods necessitating the modification of thousands to millions of weights. In this paper, we investigate the redundancies in the segment anything model (SAM) and then propose a novel parameter-free fine-tuning method. Unlike traditional fine-tuning methods that adjust parameters, our method emphasizes selecting, reusing, and enhancing pre-trained features, offering a new perspective on fine-tuning foundation models. Specifically, we introduce a channel selection algorithm based on the model's output difference to identify redundant and effective channels. By selectively replacing the redundant channels with more effective ones, we filter out less useful features and reuse more task-irrelevant features to downstream tasks, thereby enhancing the task-specific feature representation. Experiments on both out-of-domain and in-domain datasets demonstrate the efficiency and effectiveness of our method in different vision tasks (e.g., image segmentation, depth estimation and image classification). Notably, our approach can seamlessly integrate with existing fine-tuning strategies (e.g., LoRA, Adapter), further boosting the performance of already fine-tuned models. Moreover, since our channel selection involves only model inference, our method significantly reduces GPU memory overhead.
• Abstract（参考訳）: 視覚基礎モデル(VFM)は、普遍的な視覚表現を学習する際、顕著な能力を示した。 しかし、これらのモデルを下流タスクに適応させるには、従来のパラメータ更新が必要であり、パラメータ効率の良い微調整方法でさえ、数千から数百万の重みの修正を必要とする。 本稿では,SAMモデルの冗長性を考察し,新しいパラメータフリー微調整法を提案する。 パラメータの調整を行う従来の微調整手法とは異なり,本手法は事前学習した特徴の選択,再利用,強化を重視し,微調整基礎モデルに対する新たな視点を提供する。 具体的には,モデルの出力差に基づくチャネル選択アルゴリズムを導入し,冗長で効果的なチャネルを同定する。 冗長なチャネルをより効果的なチャネルに選択的に置き換えることで、より有用な機能を排除し、下流タスクにより多くのタスク非関連機能を再利用し、タスク固有の特徴表現を強化する。 ドメイン外のデータセットとドメイン内データセットの両方の実験は、異なる視覚タスク(例えば、画像分割、深さ推定、画像分類)において、我々の手法の有効性と有効性を示す。 特に、我々のアプローチは既存の微調整戦略(LoRA、Adapterなど)とシームレスに統合することができ、すでに微調整済みのモデルの性能をさらに向上させることができる。 さらに,提案手法はモデル推論のみを含むため,GPUメモリのオーバーヘッドを大幅に削減する。

関連論文リスト

• Neural Parameter Search for Slimmer Fine-Tuned Models and Better Transfer [17.463052541838504]
  微調整されたモデルは、しばしば特定のドメインの外で苦労し、かなりの冗長性を示す。 近年の研究では、プルーニングされた微調整モデルと元の事前学習モデルを組み合わせることで、タスク間でモデルパラメータをマージする際の干渉を軽減することが示唆されている。 微調整モデルのスリム化のためのニューラル・プルーニング(NPS-Pruning)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-24T14:27:20Z)
• Mitigating Parameter Interference in Model Merging via Sharpness-Aware Fine-Tuning [6.110846759317336]
  事前学習のパラダイムを持つ大規模ディープラーニングモデルは、一般的な事前学習モデルから微調整された多数のタスク固有モデルの急増につながっている。 これらの大きなモデルを単一のマルチタスクモデル、特にパラメータの単純な算術モデルにマージする研究が進められている。 このようなマージ手法は、異なるタスクで微調整されたモデルパラメータ間の干渉という、中心的な課題に直面します。 我々は、シャープネスを意識した最小化による事前学習モデルの微調整を提案する。
  論文  参考訳（メタデータ） (2025-04-20T15:57:12Z)
• Unsupervised Parameter Efficient Source-free Post-pretraining [52.27955794126508]
  教師なしのUpStepを紹介します。 ソースドメインからターゲットドメインへのベースモデルを適応するための、ソースフリーのポストプレトレーニングアプローチ。 私たちは、Imagenetをベースモデルとして、教師付きおよび教師なしの両方でトレーニングされた、さまざまな一般的なバックボーンアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2025-02-28T18:54:51Z)
• Parameter Efficient Merging for Multimodal Large Language Models with Complementary Parameter Adaptation [17.39117429338763]
  相補的パラメータ適応を用いたトレーニング不要なパラメータ効率的なマージ手法であるCoPA-Mergingを提案する。 多様なマルチモーダルタスクからなるベンチマークを構築し,本手法の卓越した性能と一般化性を証明する実験を行った。
  論文  参考訳（メタデータ） (2025-02-24T13:52:05Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Low-Rank Rescaled Vision Transformer Fine-Tuning: A Residual Design Approach [17.678759882763078]
  事前訓練されたビジョントランスフォーマーの微調整は、下流のタスクにモデルを十分にカスタマイズすることを目的としている。 事前訓練されたモデルの一般化可能な表現能力を維持することと、タスク固有の特徴を取得することのバランスを取ることは重要な課題である。 本稿では,Residual-based Low-Rank Rescaling (RLRR)ファインチューニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-28T00:14:53Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)
• EnfoMax: Domain Entropy and Mutual Information Maximization for Domain Generalized Face Anti-spoofing [0.0]
  Face Anti-Spoofing (FAS) 法はドメイン内の設定でよく機能する。 ドメイン一般化(DG)法はFASにおいて注目されている。 本稿では,情報理論を用いてドメイン間FASタスクを解析するEnfoMaxフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-17T03:54:18Z)
• Parameter-efficient Model Adaptation for Vision Transformers [45.3460867776953]
  画像分類タスクにおける視覚変換器のパラメータ効率モデル適応戦略について検討する。 本稿では,局所固有次元を測定することで,まずサブモジュールを選択するパラメータ効率のよいモデル適応フレームワークを提案する。 提案手法は,20画像分類データセット間の精度とパラメータ効率のトレードオフを最良とする。
  論文  参考訳（メタデータ） (2022-03-29T05:30:09Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。