論文の概要: Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models

• arxiv url: http://arxiv.org/abs/2602.19111v1
• Date: Sun, 22 Feb 2026 09:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.484587
• Title: Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models
• Title（参考訳）: Astra: 大規模言語モデルのアクティベーション空間Tail-Eigenvector Low-Rank適応
• Authors: Kainan Liu, Yong Zhang, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao,
• Abstract要約: 本稿では,事前学習したモデルを下流タスクに適用するための新しいPEFT手法であるAstraを提案する。 Astraは16のベンチマークで既存のPEFTベースラインを一貫して上回り、特定のシナリオではFFT(Full Fine-tuning)を超えている。
• 参考スコア（独自算出の注目度）: 37.89933976872072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods, especially LoRA, are widely used for adapting pre-trained models to downstream tasks due to their computational and storage efficiency. However, in the context of LoRA and its variants, the potential of activation subspaces corresponding to tail eigenvectors remains substantially under-exploited, which may lead to suboptimal fine-tuning performance. In this work, we propose Astra (Activation-Space Tail-Eigenvector Low-Rank Adaptation), a novel PEFT method that leverages the tail eigenvectors of the model output activations-estimated from a small task-specific calibration set-to construct task-adaptive low-rank adapters. By constraining updates to the subspace spanned by these tail eigenvectors, Astra achieves faster convergence and improved downstream performance with a significantly reduced parameter budget. Extensive experiments across natural language understanding (NLU) and natural language generation (NLG) tasks demonstrate that Astra consistently outperforms existing PEFT baselines across 16 benchmarks and even surpasses full fine-tuning (FFT) in certain scenarios.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)法、特にLoRA法は、計算と記憶効率のため、トレーニング済みのモデルを下流のタスクに適応するために広く用いられている。 しかし、LoRAとその変種(英語版)の文脈では、尾固有ベクトルに対応する活性化部分空間のポテンシャルは、ほとんど明らかにされていないままであり、これは準最適微調整性能をもたらす可能性がある。 本研究では,タスク固有キャリブレーションセットから推定したモデル出力アクティベーションのテール固有ベクトルを利用して,タスク適応型低ランクアダプタを構築する,新しいPEFT手法であるAstraを提案する。 これらの尾の固有ベクトルにまたがる部分空間の更新を制限することにより、Astraはより高速な収束を実現し、パラメータ予算を大幅に削減して下流のパフォーマンスを向上する。 自然言語理解(NLU)と自然言語生成(NLG)タスクにわたる広範な実験により、Astraは16のベンチマークで既存のPEFTベースラインを一貫して上回り、特定のシナリオにおいて完全な微調整(FFT)を超えている。

関連論文リスト

• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation [9.048461365342204]
  大規模言語モデル(LLM)のための新しいPEFT法であるOSoRAを提案する。 OSoRAは、微調整中にトレーニング可能なパラメータの数を最小化することで、計算リソースの要求を大幅に削減する。 数学的推論、常識推論、その他のベンチマークの総合的な評価は、OSoRAが最先端の手法と同等または優れた性能を達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-20T13:34:06Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。