論文の概要: TR-PTS: Task-Relevant Parameter and Token Selection for Efficient Tuning

• arxiv url: http://arxiv.org/abs/2507.22872v1
• Date: Wed, 30 Jul 2025 17:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.372631
• Title: TR-PTS: Task-Relevant Parameter and Token Selection for Efficient Tuning
• Title（参考訳）: TR-PTS:効率的なチューニングのためのタスク関連パラメータとトークン選択
• Authors: Siqi Luo, Haoran Yang, Yi Xin, Mingyang Yi, Guangyang Wu, Guangtao Zhai, Xiaohong Liu,
• Abstract要約: 大規模な事前学習モデルは視覚タスクにおいて顕著な性能を達成するが、高い計算と記憶コストのために微調整には実用的ではない。 タスク関連性を提案する。 そしてToken Selection (TR-PTS)は、計算効率と精度の両方を向上させるタスク駆動フレームワークである。 FGVCとVTAB-1kを含むベンチマークでTR-PTSを評価し,それぞれ3.40%,10.35%の微調整を達成した。
• 参考スコア（独自算出の注目度）: 41.097430916756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained models achieve remarkable performance in vision tasks but are impractical for fine-tuning due to high computational and storage costs. Parameter-Efficient Fine-Tuning (PEFT) methods mitigate this issue by updating only a subset of parameters; however, most existing approaches are task-agnostic, failing to fully exploit task-specific adaptations, which leads to suboptimal efficiency and performance. To address this limitation, we propose Task-Relevant Parameter and Token Selection (TR-PTS), a task-driven framework that enhances both computational efficiency and accuracy. Specifically, we introduce Task-Relevant Parameter Selection, which utilizes the Fisher Information Matrix (FIM) to identify and fine-tune only the most informative parameters in a layer-wise manner, while keeping the remaining parameters frozen. Simultaneously, Task-Relevant Token Selection dynamically preserves the most informative tokens and merges redundant ones, reducing computational overhead. By jointly optimizing parameters and tokens, TR-PTS enables the model to concentrate on task-discriminative information. We evaluate TR-PTS on benchmark, including FGVC and VTAB-1k, where it achieves state-of-the-art performance, surpassing full fine-tuning by 3.40% and 10.35%, respectively. The code are available at https://github.com/synbol/TR-PTS.
• Abstract（参考訳）: 大規模な事前学習モデルは視覚タスクにおいて顕著な性能を達成するが、高い計算と記憶コストのために微調整には実用的ではない。 パラメータ効率の良いファインチューニング(PEFT)手法は、パラメータのサブセットだけを更新することでこの問題を軽減するが、既存のアプローチのほとんどはタスクに依存しず、タスク固有の適応を完全に活用できず、最適化の効率と性能をもたらす。 この制限に対処するため,タスク駆動型フレームワークであるタスク関連パラメータとトークン選択(TR-PTS)を提案する。 具体的には、Fisher Information Matrix (FIM) を用いて、残りのパラメータを凍結させながら、最も情報性の高いパラメータのみを階層的に識別し、微調整するタスク関連パラメータ選択を導入する。 同時に、タスク関連トークン選択は、最も情報性の高いトークンを動的に保存し、冗長なトークンをマージすることで、計算オーバーヘッドを低減します。 パラメータとトークンを協調的に最適化することにより、TR-PTSはモデルがタスク識別情報に集中できるようにする。 FGVCとVTAB-1kを含むベンチマークでTR-PTSを評価し,それぞれ3.40%,10.35%の微調整を達成した。 コードはhttps://github.com/synbol/TR-PTSで公開されている。

関連論文リスト

• Task-Aware Parameter-Efficient Fine-Tuning of Large Pre-Trained Models at the Edge [43.2949682492473]
  TaskEdgeは、エッジにあるタスク対応のパラメータ効率の良い微調整フレームワークである。 ターゲットタスクに最も効果的なパラメータを割り当て、タスク固有のパラメータだけを更新する。 そうすることで、TaskEdgeは計算コストとメモリ使用量を大幅に削減できます。
  論文  参考訳（メタデータ） (2025-03-29T10:23:36Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Efficiently Tuned Parameters are Task Embeddings [26.587153525003636]
  中間タスク転送は、適切に選択されたソースデータセットによる幅広いNLPタスクの恩恵を受けることができる。 すべての中間変換の組み合わせを実験することは、計算的に不可能である。 本稿では,これらのパラメータをオフザシェルフタスクの埋め込みとして効率的に調整することを提案する。
  論文  参考訳（メタデータ） (2022-10-21T03:19:54Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。