論文の概要: GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2511.17582v1
- Date: Sat, 15 Nov 2025 17:55:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.253896
- Title: GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning
- Title（参考訳）: Gatera: パラメータ効率の良いファインチューニングのためのToken-Aware Modulation
- Authors: Jie Ou, Shuaihong Jiang, Yingjun Du, Cees G. M. Snoek,
- Abstract要約: GateRAは、PEFT更新の強度を動的に調整するトークン対応変調を導入する統一フレームワークである。
適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的でトークンレベルの適応を可能にする。
複数のコモンセンス推論ベンチマークの実験により、GateRAはPEFT法よりも一貫して優れ、一致していることが示された。
- 参考スコア（独自算出の注目度）: 51.79350934271497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-efficient fine-tuning (PEFT) methods, such as LoRA, DoRA, and HiRA, enable lightweight adaptation of large pre-trained models via low-rank updates. However, existing PEFT approaches apply static, input-agnostic updates to all tokens, disregarding the varying importance and difficulty of different inputs. This uniform treatment can lead to overfitting on trivial content or under-adaptation on more informative regions, especially in autoregressive settings with distinct prefill and decoding dynamics. In this paper, we propose GateRA, a unified framework that introduces token-aware modulation to dynamically adjust the strength of PEFT updates. By incorporating adaptive gating into standard PEFT branches, GateRA enables selective, token-level adaptation, preserving pre-trained knowledge for well-modeled inputs while focusing capacity on challenging cases. Empirical visualizations reveal phase-sensitive behaviors, where GateRA automatically suppresses updates for redundant prefill tokens while emphasizing adaptation during decoding. To promote confident and efficient modulation, we further introduce an entropy-based regularization that encourages near-binary gating decisions. This regularization prevents diffuse update patterns and leads to interpretable, sparse adaptation without hard thresholding. Finally, we present a theoretical analysis showing that GateRA induces a soft gradient-masking effect over the PEFT path, enabling continuous and differentiable control over adaptation. Experiments on multiple commonsense reasoning benchmarks demonstrate that GateRA consistently outperforms or matches prior PEFT methods.
- Abstract（参考訳）: LoRA, DoRA, HiRA などのパラメータ効率のよい微細チューニング(PEFT)手法は,低ランク更新による大規模事前学習モデルの軽量適応を可能にする。
しかし、既存のPEFTアプローチは全てのトークンに静的で入力に依存しない更新を適用し、異なる入力の重要性と難しさを無視している。
この均一な処理は、特に異なるプリフィルとデコードダイナミクスを持つ自己回帰的な設定において、自明な内容に過度に適合したり、より情報的な領域に過度に適応させる可能性がある。
本稿では,PEFT更新の強度を動的に調整するトークン認識変調を導入した統一フレームワークであるGateRAを提案する。
適応ゲーティングを標準のPEFTブランチに組み込むことで、Gateraは選択的かつトークンレベルの適応を可能にし、適切なモデル入力のための事前学習された知識を保持しながら、困難なケースにキャパシティを集中する。
経験的な視覚化では、フェーズセンシティブな振る舞いが明らかになり、Gateraはデコード中の適応を強調しながら、冗長なプリフィルトークンの更新を自動的に抑制する。
信頼性と効率的な変調を促進するため,エントロピーに基づく正規化を導入し,ほぼ二分決定を奨励する。
この正規化は、拡散更新パターンを防止し、ハードしきい値付けなしで解釈可能でスパースな適応をもたらす。
最後に,GateraがPEFT経路に対してソフト勾配マスキング効果を誘導し,適応に対する連続的かつ微分可能な制御を可能にすることを示す理論的解析を行った。
複数のコモンセンス推論ベンチマークの実験により、GateraはPEFT法よりも一貫して優れ、一致していることが示された。
関連論文リスト
- TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating [8.102270371993411]
本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。
実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。
論文 参考訳（メタデータ） (2025-11-20T08:41:20Z) - Uncertainty-Guided Selective Adaptation Enables Cross-Platform Predictive Fluorescence Microscopy [65.15943255667733]
自動深度選択機能付きサブネットワーク画像翻訳ADDA(SIT-ADDA-Auto)について紹介する。
より深い層を凍結しながら、最も初期の畳み込み層のみを適応させることで、信頼できる転送が得られることを示す。
この結果から,マイクロスコープにおけるラベルなし適応の設計規則とフィールド設定のレシピが提供され,コードが公開されている。
論文 参考訳（メタデータ） (2025-11-15T03:01:05Z) - EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting [50.794700596484894]
IntroPE(Entropy-Guided Dynamic Patch)は,条件付きエントロピーによる遷移点を動的に検出する新しい時間情報フレームワークである。
これは、パッチの計算上の利点を維持しながら、時間構造を保存する。
長期予測ベンチマークによる実験では、EntroPEは精度と効率の両方を改善している。
論文 参考訳（メタデータ） (2025-09-30T12:09:56Z) - Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models [28.79157031663951]
We introduced WeatherPEFT, a novel PEFT framework for Weather Foundation Models (WFMs)
Task-Tu Dynamic Prompting (TTu) は、内部および外部パターン抽出によってトレーニング済みのバックボーンの入力トークンにエンコーダ内の埋め込み重みを注入する。
フィッシャーガイド適応選択 (Fisher-Guided Adaptive Selection, SFAS) は、訓練済みの知識を保ちながら、その選択を安定化させ、最もタスククリティカルなランダム性を特定する。
既存のPEFT法ではフルチューニングとWeatherPEFT性能が同等であるのに対し,既存のPEFT法では大きな差がみられ,WeatherPEFTの有効性と効率が示された。
論文 参考訳（メタデータ） (2025-09-26T07:54:05Z) - Adapting to Fragmented and Evolving Data: A Fisher Information Perspective [0.0]
FADEは動的環境下での堅牢な学習のための軽量フレームワークである。
フィッシャー情報幾何学に固定されたシフトアウェアの正規化機構を採用している。
FADEは固定メモリでオンラインで動作し、ターゲットラベルにアクセスできない。
論文 参考訳（メタデータ） (2025-07-25T06:50:09Z) - EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。
本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
論文 参考訳（メタデータ） (2025-06-14T05:19:58Z) - ADePT: Adaptive Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [23.511954119467735]
Prompt Tuning (PT)は、事前訓練された大規模言語モデル(PLM)の下流タスクへの適応を可能にする。
Decomposed Prompt Tuning (DePT) は優れた適応能力を示した。
ADePTは短いソフトプロンプトと浅いトークン共有フィードフォワードニューラルネットワークで構成されている。
論文 参考訳（メタデータ） (2025-01-06T08:20:04Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。