論文の概要: TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating

• arxiv url: http://arxiv.org/abs/2511.16147v1
• Date: Thu, 20 Nov 2025 08:41:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.534458
• Title: TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating
• Title（参考訳）: TS-PEFT:学習閾値ゲーティングを用いたToken-Selective Parameter-Efficient Fine-Tuning
• Authors: Dabiao Ma, Ziming Dai, Zhimin Xin, Shu Wang, Ye Wang, Haojun Fei,
• Abstract要約: 本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。 実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 8.102270371993411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of large models (LMs) for natural language processing (NLP) and computer vision (CV), Parameter-Efficient Fine-Tuning (PEFT) has emerged as a resource-efficient method that modifies a limited number of parameters while keeping the pretrained weights fixed. This paper investigates the traditional PEFT approach, which applies modifications to all position indices, and questions its necessity. We introduce a new paradigm called Token-Selective PEFT (TS-PEFT), in which a function S selectively applies PEFT modifications to a subset of position indices, potentially enhancing performance on downstream tasks. Our experimental results reveal that the indiscriminate application of PEFT to all indices is not only superfluous, but may also be counterproductive. This study offers a fresh perspective on PEFT, advocating for a more targeted approach to modifications and providing a framework for future research to optimize the fine-tuning process for large models.
• Abstract（参考訳）: 自然言語処理 (NLP) とコンピュータビジョン (CV) のための大規模モデル (LM) の分野では、パラメータ効率の良いファインチューニング (PEFT) が、事前訓練された重みを固定しながら限られた数のパラメータを修正できる資源効率の高い手法として登場した。 本稿では,すべての位置指標に修正を加え,その必要性を問う,従来のPEFTアプローチについて検討する。 そこで本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用し,下流タスクの性能を向上する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。 実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。 この研究はPEFTの新たな視点を提供し、改良に対するより標的的なアプローチを提唱し、大型モデルの微調整プロセスを最適化するための将来の研究のためのフレームワークを提供する。

関連論文リスト

• Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models [28.79157031663951]
  We introduced WeatherPEFT, a novel PEFT framework for Weather Foundation Models (WFMs) Task-Tu Dynamic Prompting (TTu) は、内部および外部パターン抽出によってトレーニング済みのバックボーンの入力トークンにエンコーダ内の埋め込み重みを注入する。 フィッシャーガイド適応選択 (Fisher-Guided Adaptive Selection, SFAS) は、訓練済みの知識を保ちながら、その選択を安定化させ、最もタスククリティカルなランダム性を特定する。 既存のPEFT法ではフルチューニングとWeatherPEFT性能が同等であるのに対し,既存のPEFT法では大きな差がみられ,WeatherPEFTの有効性と効率が示された。
  論文  参考訳（メタデータ） (2025-09-26T07:54:05Z)
• FISH-Tuning: Enhancing PEFT Methods with Fisher Information [3.9274736061387854]
  FISH Maskは選択に基づくPEFT手法であり、近似フィッシャー情報を用いて事前訓練されたパラメータの臨界部分集合を識別する。 FISH MaskをLoRA,Adapter,およびそれらの変種を含むPEFT手法に組み込む新しいアプローチである textbfFISH-Tuning を提案する。
  論文  参考訳（メタデータ） (2025-04-05T04:05:55Z)
• BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
  自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。 公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T18:50:46Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• An Empirical Study of Parameter Efficient Fine-tuning on Vision-Language Pre-train Model [33.853380101736306]
  PEFTの自然な期待は、様々なPEFTの性能がデータサイズと微調整可能なパラメータサイズに肯定的な関係があることである。 このような直感は、下流のデータとタスクが事前トレーニングと一致していない場合にのみ成立する。 事前トレーニングと整合した下流の微調整では、データサイズはもはやパフォーマンスに影響を与えず、微調整可能なパラメータサイズの影響は単調ではない。
  論文  参考訳（メタデータ） (2024-03-13T11:33:38Z)
• Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [95.0484665958967]
  事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。 これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。 パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2024-02-03T19:12:20Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。