論文の概要: Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection

• arxiv url: http://arxiv.org/abs/2605.08177v1
• Date: Tue, 05 May 2026 08:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.429269
• Title: Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection
• Title（参考訳）: Echo-LoRA:クロスレイヤ表現注入によるパラメータ効率の良いファインチューニング
• Authors: Yihang Peng, Peng Jin, Jie Gong, Xingyuan Chen, Lingjiao Xu, Ning Su, Yan Ran,
• Abstract要約: パラメータ効率の良い微調整のための層間表現注入法であるEcho-LoRAを提案する。 トレーニング中、Echo-LoRAは、深いソース層から境界隠れ状態を収集し、それらをサンプルレベルのエコー表現に集約し、軽量なプロジェクションネットワークを使用して、結果の信号を浅いLoRAまたはDoRAモジュールに注入する。 8つのコモンセンス推論ベンチマークにおいて、Echo-LoRAはLLaMA-7B、LLaMA2-7B、LLaMA3-8Bで報告されたLoRAベースラインを超える。
• 参考スコア（独自算出の注目度）: 13.686308852232857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has become a practical route for adapting large language models to downstream tasks, with LoRA-style methods being particularly attractive because they are inexpensive to train and easy to deploy. Most LoRA variants, however, revise the update rule within the weight space of each layer and leave the intermediate representations formed by deeper layers largely unused. We propose Echo-LoRA, a cross-layer representation injection method for parameter-efficient fine-tuning. During training, Echo-LoRA collects boundary hidden states from deeper source layers, aggregates them into a sample-level echo representation, and uses lightweight projection and gating networks to inject the resulting signal into shallow LoRA or DoRA modules. Answer-only masking, masked distillation, and stochastic routing are used to keep this auxiliary path stable and to reduce the gap between training and inference. On eight commonsense reasoning benchmarks, Echo-LoRA exceeds the reported LoRA baselines by 5.7 percentage points on average across LLaMA-7B, LLaMA2-7B, and LLaMA3-8B. Under reproduced LoRA baselines in our unified implementation, the average gain is 3.0 points; when combined with DoRA, the gain is 2.7 points. The Echo path is discarded after training, so the deployed model keeps the original low-rank LoRA/DoRA form and adds neither inference-time parameters nor inference computation.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、大規模言語モデルを下流タスクに適応させる実用的な方法となっている。 しかし、ほとんどの LoRA 変種は、各層の重み空間内で更新規則を改訂し、より深い層によって形成された中間表現をほとんど使用しないままにしている。 パラメータ効率の良い微調整のための層間表現注入法であるEcho-LoRAを提案する。 トレーニング中、Echo-LoRAは、深いソース層から境界隠れ状態を収集し、それらをサンプルレベルのエコー表現に集約し、軽量なプロジェクションとゲーティングネットワークを使用して、結果の信号を浅いLoRAまたはDoRAモジュールに注入する。 補助経路を安定に保ち、トレーニングと推論のギャップを減らすために、解答のみのマスク、マスク付き蒸留、確率的ルーティングが使用される。 8つのコモンセンス推論ベンチマークにおいて、Echo-LoRAはLLaMA-7B、LLaMA2-7B、LLaMA3-8Bの平均で報告されたLoRAベースラインを5.7%上回る。 我々の統一実装における再現されたLoRAベースラインの下では、平均利得は3.0ポイントであり、DoRAと組み合わせると、利得は2.7ポイントである。 Echoパスはトレーニング後に破棄されるため、デプロイされたモデルはオリジナルのローランクのLoRA/DoRAフォームを保持し、推論時間パラメータも推論計算も追加しない。

関連論文リスト

• GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
  GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。 トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
  論文  参考訳（メタデータ） (2026-01-01T06:31:54Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
  そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。 学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
  論文  参考訳（メタデータ） (2025-08-24T12:45:36Z)
• A Stronger Mixture of Low-Rank Experts for Fine-Tuning Foundation Models [22.457766373989365]
  Low-Rank Adapters (LoRA) は、命令チューニングやドメイン適応など、様々な分野に広く採用されている。 LoRAの限られた表現能力に対処するため、複数のLoRAアダプタを組み込むためのMixture-of-Expert (MoE)が導入されている。 マルチスペースプロジェクションによる特徴学習手順の安定化と向上を図るため,MoE-LoRAの新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:58:53Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
  低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。 新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
  論文  参考訳（メタデータ） (2024-10-23T17:04:40Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。