論文の概要: NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.18940v1
• Date: Tue, 21 Oct 2025 17:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.417955
• Title: NeuroAda: Activating Each Neuron's Potential for Parameter-Efficient Fine-Tuning
• Title（参考訳）: NeuroAda:パラメータ効率の良い微調整のためのニューロンの活性化
• Authors: Zhi Zhang, Yixian Shen, Congfeng Cao, Ekaterina Shutova,
• Abstract要約: NeuroAdaは、高メモリ効率を維持しながらきめ細かなモデル微調整を可能にする新しいPEFT法である。 NeuroAdaは、トレーニング可能なパラメータをわずか$leq0.02%で実現し、メモリ使用量を最大60%削減できることを示す。
• 参考スコア（独自算出の注目度）: 18.1179807699825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing parameter-efficient fine-tuning (PEFT) methods primarily fall into two categories: addition-based and selective in-situ adaptation. The former, such as LoRA, introduce additional modules to adapt the model to downstream tasks, offering strong memory efficiency. However, their representational capacity is often limited, making them less suitable for fine-grained adaptation. In contrast, the latter directly fine-tunes a carefully chosen subset of the original model parameters, allowing for more precise and effective adaptation, but at the cost of significantly increased memory consumption. To reconcile this trade-off, we propose NeuroAda, a novel PEFT method that enables fine-grained model finetuning while maintaining high memory efficiency. Our approach first identifies important parameters (i.e., connections within the network) as in selective adaptation, and then introduces bypass connections for these selected parameters. During finetuning, only the bypass connections are updated, leaving the original model parameters frozen. Empirical results on 23+ tasks spanning both natural language generation and understanding demonstrate that NeuroAda achieves state-of-the-art performance with as little as $\leq \textbf{0.02}\%$ trainable parameters, while reducing CUDA memory usage by up to 60%. We release our code here: https://github.com/FightingFighting/NeuroAda.git.
• Abstract（参考訳）: 既存のパラメータ効率細調整法(PEFT)は、主に加算法と選択的その場適応の2つのカテゴリに分類される。 前者(LoRAなど)は、下流タスクにモデルを適応するための追加モジュールを導入し、メモリ効率を向上した。 しかし、その表現能力はしばしば制限され、粒度の細かい適応には適さない。 対照的に、後者は元のモデルパラメータの慎重に選択されたサブセットを直接微調整し、より正確で効果的な適応を可能にするが、メモリ消費を大幅に増加させるコストがかかる。 このトレードオフを解決するために,高メモリ効率を保ちながら細粒度モデルの微粒化を可能にする新しいPEFT法であるNeuroAdaを提案する。 提案手法では、まず重要なパラメータ(すなわちネットワーク内の接続)を選択的適応として識別し、次に選択したパラメータに対するバイパス接続を導入する。 微調整中、バイパス接続のみが更新され、元のモデルパラメータは凍結される。 自然言語生成と理解の両方にまたがる23以上のタスクに関する実証的な結果から、NeuroAdaは、最大で$\leq \textbf{0.02}\%のトレーニング可能なパラメータで最先端のパフォーマンスを実現し、CUDAメモリ使用量を最大60%削減している。 コードについては、https://github.com/FightingFighting/NeuroAda.git.comで公開しています。

関連論文リスト

• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models [18.877891285367216]
  我々はパラメータの重要度を連続的に計算する新しい選択型PEFT法である$textID3$を紹介した。 解析的に、$textID3$は勾配更新数を2倍に減らし、計算効率が向上することを示した。
  論文  参考訳（メタデータ） (2024-08-26T17:58:53Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Sensi-BERT: Towards Sensitivity Driven Fine-Tuning for Parameter-Efficient BERT [6.029590006321152]
  本稿では、下流タスクのための感度駆動効率の良いBERTモデルの微調整であるSensi-BERTを提案する。 実験の結果,MNLI,QQP,QNLI,SST-2,SQuADなどの下流タスクに対するSensi-BERTの有効性が示された。
  論文  参考訳（メタデータ） (2023-07-14T17:24:15Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。