論文の概要: FPS: Feedforward-based Parameter Selection For Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.27359v1
• Date: Fri, 31 Oct 2025 10:44:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.073978
• Title: FPS: Feedforward-based Parameter Selection For Efficient Fine-Tuning
• Title（参考訳）: FPS:効率的なファインチューニングのためのフィードフォワードに基づくパラメータ選択
• Authors: Kenneth Yang, Wen-Li Wei, Jen-Chun Lin,
• Abstract要約: 本稿では,FPS(Feedforward-based Selection)を提案する。 FPSは、その大きさと対応する入力アクティベーションの産物によってパラメータをランク付けし、事前訓練された知識と下流のデータの両方を活用する。 FPSは最先端のメソッドに匹敵するパフォーマンスを実現し、ピークメモリ使用量を9倍近く削減した。
• 参考スコア（独自算出の注目度）: 10.272085741815921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has emerged as a key strategy for adapting large-scale pre-trained models to downstream tasks, but existing approaches face notable limitations. Addition-based methods, such as Adapters [1], introduce inference latency and engineering complexity, while selection-based methods like Gradient-based Parameter Selection (GPS) [2] require a full backward pass, which results in the same peak memory usage as full fine-tuning. To address this dilemma, we propose Feedforward-based Parameter Selection (FPS), a gradient-free method that identifies an optimal parameter subset in a single forward pass. FPS ranks parameters by the product of their magnitudes and corresponding input activations, leveraging both pre-trained knowledge and downstream data. Evaluated on $24$ visual tasks from FGVC and VTAB-1k, FPS achieves performance comparable to state-of-the-art methods while reducing peak memory usage by nearly $9 \times$ and accelerating parameter selection by about $2 \times$, offering a genuinely memory-efficient and practical solution for fine-tuning large-scale pre-trained models.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)は、大規模な事前訓練されたモデルを下流タスクに適応するための重要な戦略として登場したが、既存のアプローチには顕著な制限がある。 Adapters [1]のような追加ベースのメソッドは推論遅延とエンジニアリングの複雑さを導入し、グラディエントベースのパラメータ選択(GPS)[2]のような選択ベースのメソッドは完全な後方パスを必要とし、結果として完全な微調整と同じピークメモリを使用する。 このジレンマに対処するために、フィードフォワードに基づくパラメータ選択(FPS)を提案する。 FPSは、その大きさと対応する入力アクティベーションの産物によってパラメータをランク付けし、事前訓練された知識と下流のデータの両方を活用する。 FGVCとVTAB-1kによる24ドルのビジュアルタスクに基づいて評価されたFPSは、最先端のメソッドに匹敵するパフォーマンスを達成し、ピークメモリ使用量を9 \times$に削減し、パラメータ選択を約2 \times$に加速する。

関連論文リスト

• NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning [18.1179807699825]
  NeuroAdaは、高メモリ効率を維持しながらきめ細かなモデル微調整を可能にする新しいPEFT法である。 NeuroAdaは、トレーニング可能なパラメータをわずか$leq0.02%で実現し、メモリ使用量を最大60%削減できることを示す。
  論文  参考訳（メタデータ） (2025-10-21T17:59:24Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。