論文の概要: Faster Parameter-Efficient Tuning with Token Redundancy Reduction

• arxiv url: http://arxiv.org/abs/2503.20282v1
• Date: Wed, 26 Mar 2025 07:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:58.848076
• Title: Faster Parameter-Efficient Tuning with Token Redundancy Reduction
• Title（参考訳）: トークン冗長化を考慮した高速パラメータ効率チューニング
• Authors: Kwonyoung Kim, Jungin Park, Jin Kim, Hyeongjun Kwon, Kwanghoon Sohn,
• Abstract要約: 遅延効率チューニング(PET)は、少数のパラメータを学習することで、事前訓練された基礎モデルを下流タスクに転送することを目的としている。 PETは、訓練済みのモデル容量が指数関数的に増加するにも拘わらず、各タスクのストレージと転送コストを著しく削減する。 ほとんどのPET法は、大きなバックボーンモデルの推論を継承し、しばしば計算オーバーヘッドを増大させる。
• 参考スコア（独自算出の注目度）: 38.47377525427411
• License:
• Abstract: Parameter-efficient tuning (PET) aims to transfer pre-trained foundation models to downstream tasks by learning a small number of parameters. Compared to traditional fine-tuning, which updates the entire model, PET significantly reduces storage and transfer costs for each task regardless of exponentially increasing pre-trained model capacity. However, most PET methods inherit the inference latency of their large backbone models and often introduce additional computational overhead due to additional modules (e.g. adapters), limiting their practicality for compute-intensive applications. In this paper, we propose Faster Parameter-Efficient Tuning (FPET), a novel approach that enhances inference speed and training efficiency while maintaining high storage efficiency. Specifically, we introduce a plug-and-play token redundancy reduction module delicately designed for PET. This module refines tokens from the self-attention layer using an adapter to learn the accurate similarity between tokens and cuts off the tokens through a fully-differentiable token merging strategy, which uses a straight-through estimator for optimal token reduction. Experimental results prove that our FPET achieves faster inference and higher memory efficiency than the pre-trained backbone while keeping competitive performance on par with state-of-the-art PET methods.
• Abstract（参考訳）: パラメータ効率チューニング(PET)は、少数のパラメータを学習することで、事前訓練された基礎モデルを下流タスクに転送することを目的としている。 モデル全体を更新する従来の微調整と比較して、PETはトレーニング済みのモデル容量が指数関数的に増加するにも拘わらず、各タスクのストレージと転送コストを著しく削減する。 しかしながら、ほとんどのPETメソッドは、大きなバックボーンモデルの推論遅延を継承し、しばしば追加のモジュール(例えばアダプタ)による計算オーバーヘッドを発生させ、計算集約的なアプリケーションに対する実用性を制限する。 本稿では,高速なパラメータ効率チューニング(FPET)を提案する。これは,高記憶効率を維持しつつ,推論速度とトレーニング効率を向上させる新しいアプローチである。 具体的には,PET用に微妙に設計されたプラグアンドプレイトークン冗長性低減モジュールを提案する。 このモジュールは、アダプタを使用して自己保持層からトークンを洗練し、トークン間の正確な類似性を学習し、トークンの最適化のためにストレートスルー推定器を使用する完全微分可能なトークンマージ戦略を通じてトークンを切断する。 実験結果から,FPETは既訓練のバックボーンよりも高速な推論とメモリ効率を達成でき,しかも現状のPET法と同等の性能を保っていることがわかった。

関連論文リスト

• Densely Connected Parameter-Efficient Tuning for Referring Image Segmentation [30.912818564963512]
  DETRISは、低ランクな視覚的特徴伝達を強化するために設計されたパラメータ効率のチューニングフレームワークである。 我々の単純で効率的なアプローチは、最先端のメソッドを大きく上回り、0.9%から1.8%のバックボーンパラメーターが更新される。
  論文  参考訳（メタデータ） (2025-01-15T05:00:03Z)
• SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models [26.484208658326857]
  継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。 強力な事前学習モデル(PTM)の台頭に伴い、インクリメンタル学習システムのトレーニングへの関心が高まっている。
  論文  参考訳（メタデータ） (2024-11-04T15:34:30Z)
• HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
  予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。 タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。 提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-07T01:50:25Z)
• ConPET: Continual Parameter-Efficient Tuning for Large Language Models [65.48107393731861]
  継続的な学習には、新しいタスクへのモデルの継続的な適応が必要である。 継続性を提案する。 効率的なチューニング(ConPET) - 一般化可能なパラダイム。 大規模言語モデルの連続的なタスク適応。
  論文  参考訳（メタデータ） (2023-09-26T08:52:04Z)
• Revisiting the Parameter Efficiency of Adapters from the Perspective of Precision Redundancy [17.203320079872952]
  コンピュータビジョンにおける現在の最先端の結果は、部分的に微調整された大規模な事前学習された視覚モデルに依存している。 モデルサイズが指数関数的に増大するにつれて、従来のフル微調整はストレージと送信オーバーヘッドを増大させる。 本稿では,タスク固有の細調整ネットワークを格納するために必要な最小限のサイズに到達し,アダプタをさらに効率的にする方法を検討する。
  論文  参考訳（メタデータ） (2023-07-31T17:22:17Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• Sparse Structure Search for Parameter-Efficient Tuning [85.49094523664428]
  S$3$PETは、トレーニング可能なパラメータの少ない手動およびランダムな構造を超えることを示す。 探索された構造は、0.01%のトレーニング可能なパラメータで99%以上の微調整性能を維持している。
  論文  参考訳（メタデータ） (2022-06-15T08:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。