論文の概要: High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2601.07507v1
• Date: Mon, 12 Jan 2026 13:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.392985
• Title: High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning
• Title（参考訳）: パラメータ効率の良いファインチューニングのための高速構造変調
• Authors: Yongkang Liu, Xing Li, Mengjie Zhao, Shanru Zhang, Zijing Wang, Qian Li, Shi Feng, Feiliang Ren, Daling Wang, Hinrich Schütze,
• Abstract要約: 低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
• 参考スコア（独自算出の注目度）: 57.85676271833619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the number of model parameters increases, parameter-efficient fine-tuning (PEFT) has become the go-to choice for tailoring pre-trained large language models. Low-rank Adaptation (LoRA) uses a low-rank update method to simulate full parameter fine-tuning, which is widely used to reduce resource requirements. However, decreasing the rank encounters challenges with limited representational capacity when compared to full parameter fine-tuning. We present \textbf{SMoA}, a high-rank \textbf{S}tructured \textbf{MO}dulation \textbf{A}dapter that uses fewer trainable parameters while maintaining a higher rank, thereby improving the model's representational capacity and offering improved performance potential. The core idea is to freeze the original pretrained weights and selectively amplify or suppress important features of the original weights across multiple subspaces. The subspace mechanism provides an efficient way to increase the capacity and complexity of a model. We conduct both theoretical analyses and empirical studies on various tasks. Experiment results show that SMoA outperforms LoRA and its variants on 10 tasks, with extensive ablation studies validating its effectiveness.
• Abstract（参考訳）: モデルパラメータの数が増加するにつれて、パラメータ効率のよい微調整(PEFT)が、事前訓練された大規模言語モデルをカスタマイズするための選択肢となっている。 Low-rank Adaptation (LoRA)は、リソース要求を減らすために広く使われているフルパラメータの微調整をシミュレートするために、低ランク更新方式を使用している。 しかしながら、ランクの低下は、完全なパラメータの微調整と比較して、表現能力に制限のある課題に遭遇する。 本稿では,高階を維持しながらトレーニング可能なパラメータを少なくし,モデル表現能力の向上と性能向上を実現したハイランクな \textbf{S}tructured \textbf{MO}dulation \textbf{A}dapter を提案する。 中心となる考え方は、オリジナルの事前訓練された重量を凍結し、複数の部分空間にまたがる元の重量の重要な特徴を選択的に増幅または抑制することである。 サブスペースメカニズムは、モデルのキャパシティと複雑さを高める効率的な方法を提供する。 様々な課題に関する理論的分析と実証的研究を行う。 実験の結果、SMoAはLoRAとその変異体を10のタスクで上回り、広範囲にわたるアブレーション研究によりその効果が検証された。

関連論文リスト

• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation [12.07880147193174]
  モデルパラメータ内のデータと圧縮可能な力学の固有な低次元構造を利用することで、計算負担を伴わずにパラメータ化の利点を享受できることが示される。 提案手法は,低ランク行列と微調整言語モデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T14:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。