論文の概要: SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.21147v1
• Date: Wed, 20 May 2026 13:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.692165
• Title: SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning
• Title（参考訳）: SMoA:パラメータ効率の良いファインチューニングのためのスペクトル変調アダプタ
• Authors: Yongkang Liu, Xing Li, Mengjie Zhao, Shanru Zhang, Zijing Wang, Qian Li, Shi Feng, Feiliang Ren, Daling Wang, Hinrich Schütze,
• Abstract要約: 低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
• 参考スコア（独自算出の注目度）: 57.85676271833619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the number of model parameters increases, parameter-efficient fine-tuning (PEFT) has become the go-to choice for tailoring pre-trained large language models. Low-rank Adaptation (LoRA) uses a low-rank update method to simulate full parameter fine-tuning, which is widely used to reduce resource requirements. However, decreasing the rank encounters challenges with limited representational capacity. Theory suggests that LoRA fine-tuning with rank r converges toward the top r singular values of the pre-trained weight matrix. As the rank increases, more principal singular directions are preserved, which generally improves the model's performance. However, a larger rank also introduces more trainable parameters, leading to higher computational cost. To overcome this dilemma, we propose SMoA, a \textbf{S}pectrum \textbf{Mo}dulation \textbf{A}dapter that enlarges the accessible family of spectrum-aware updates under a smaller parameter budget. SMoA partitions the layer into multiple aligned spectral blocks and applies one in-block Hadamard-modulated low-rank branch to each diagonal block, yielding broader coverage of pretrained spectral directions. We provide theoretical analysis and empirical results on multiple tasks. In our experiments, SMoA improves average performance in the current lower-budget setting over LoRA and competitive LoRA-style baselines.
• Abstract（参考訳）: モデルパラメータの数が増加するにつれて、パラメータ効率のよい微調整(PEFT)が、事前訓練された大規模言語モデルをカスタマイズするための選択肢となっている。 Low-rank Adaptation (LoRA)は、リソース要求を減らすために広く使われているフルパラメータの微調整をシミュレートするために、低ランク更新方式を使用している。 しかし、ランクの低下は、表現能力に制限のある課題に遭遇する。 理論によれば、ランク r の LoRA 微細チューニングは、事前訓練された重み行列のトップ r 特異値に収束する。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 しかし、より大きなランクはより訓練可能なパラメータを導入し、より高い計算コストをもたらす。 このジレンマを克服するために、より小さなパラメータ予算の下で、スペクトル対応更新のアクセス可能なファミリーを拡大するSMoA, a \textbf{S}pectrum \textbf{Mo}dulation \textbf{A}dapterを提案する。 SMoAは、層を複数の整列スペクトルブロックに分割し、各対角ブロックに1つのインブロックアダマール変調低ランク分岐を適用し、事前訓練されたスペクトル方向を広範囲にカバーする。 複数のタスクに関する理論的解析と経験的結果を提供する。 我々の実験では、SMoAは現在のLoRAよりも低い予算設定と競合するLoRAスタイルのベースラインにおける平均性能を改善した。

関連論文リスト

• Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
  Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。 我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
  論文  参考訳（メタデータ） (2026-04-30T12:40:11Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。