論文の概要: ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2604.19254v1
• Date: Tue, 21 Apr 2026 09:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.696981
• Title: ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning
• Title（参考訳）: ShadowPEFT:パラメータ効率の良いファインチューニングのためのシャドウネットワーク
• Authors: Xianming Li, Zongxi Li, Tsz-fung Andrew Lee, Jing Li, Haoran Xie, Qing Li,
• Abstract要約: 低ランク適応(LoRA)は、個々の重みに直接独立した低ランク摂動を挿入することで適応する。 そこで我々は,深度共有シャドウモジュールを用いて層レベルの改善を行う,集中型PEFTフレームワークであるShadowPEFTを提案する。
• 参考スコア（独自算出の注目度）: 14.501555924276824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) reduces the training cost of full-parameter fine-tuning for large language models (LLMs) by training only a small set of task-specific parameters while freezing the pretrained backbone. However, existing approaches, such as Low-Rank Adaptation (LoRA), achieve adaptation by inserting independent low-rank perturbations directly to individual weights, resulting in a local parameterization of adaptation. We propose ShadowPEFT, a centralized PEFT framework that instead performs layer-level refinement through a depth-shared shadow module. At each transformer layer, ShadowPEFT maintains a parallel shadow state and evolves it repeatedly for progressively richer hidden states. This design shifts adaptation from distributed weight-space perturbations to a shared layer-space refinement process. Since the shadow module is decoupled from the backbone, it can be reused across depth, independently pretrained, and optionally deployed in a detached mode, benefiting edge computing scenarios. Experiments on generation and understanding benchmarks show that ShadowPEFT matches or outperforms LoRA and DoRA under comparable trainable-parameter budgets. Additional analyses on shadow pretraining, cross-dataset transfer, parameter scaling, inference latency, and system-level evaluation suggest that centralized layer-space adaptation is a competitive and flexible alternative to conventional low-rank PEFT.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、トレーニング済みのバックボーンを凍結しながらタスク固有のパラメータの小さなセットのみをトレーニングすることで、大規模言語モデル(LLM)のフルパラメータ微調整のトレーニングコストを削減する。 しかし、LoRA(Lo-Rank Adaptation)のような既存のアプローチは、個別の重みに直接独立な低ランク摂動を挿入することで適応を達成し、適応の局所的なパラメータ化をもたらす。 そこで我々は,深度共有シャドウモジュールを用いて層レベルの改善を行う,集中型PEFTフレームワークであるShadowPEFTを提案する。 各トランス層では、ShadowPEFTは平行なシャドウ状態を保持し、徐々にリッチな隠れ状態のために繰り返し進化する。 この設計は、分散重み空間摂動から共有層空間精錬プロセスへの適応をシフトさせる。 シャドウモジュールはバックボーンから切り離されているため、奥行きにわたって再利用でき、独立的に事前訓練され、オプションで分離されたモードでデプロイされ、エッジコンピューティングシナリオの恩恵を受けることができる。 生成と理解のベンチマークの実験では、ShadowPEFTは同等の訓練パラメータの予算の下でLoRAとDoRAに匹敵する結果を示した。 影事前学習, クロスデータセット転送, パラメータスケーリング, 推論遅延, システムレベル評価のさらなる分析は, 従来の低ランクPEFTの代替として, 集中型層空間適応が競合的で柔軟なものであることを示唆している。

関連論文リスト

• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• PiCa: Parameter-Efficient Fine-Tuning with Column Space Projection [9.152388341742048]
  専門的なタスクやドメインに適したエキスパートモデルを構築するためには、微調整された大規模な基盤モデルが不可欠である。 提案手法は,理論上の基礎となるPEFT法であるコロン宇宙投射(PiCa)を用いた効率的なファインチューニングである。 PiCaは、同等あるいはより小さなパラメータ予算の下で、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-26T16:52:40Z)
• MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
  我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。 様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T07:01:50Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• Dynamic Layer Tying for Parameter-Efficient Transformers [65.268245109828]
  トレーニング中にレイヤを選択し、それらを結びつけるために強化学習を採用しています。 これにより、重量共有が容易になり、トレーニング可能なパラメータの数を減らし、効果的な正規化技術としても機能する。 特に、トレーニング中のメモリ消費は、従来のトレーニング方法よりも1桁も少ない。
  論文  参考訳（メタデータ） (2024-01-23T14:53:20Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。