論文の概要: Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT

• arxiv url: http://arxiv.org/abs/2511.00051v1
• Date: Tue, 28 Oct 2025 12:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.543368
• Title: Calibrating and Rotating: A Unified Framework for Weight Conditioning in PEFT
• Title（参考訳）: キャリブレーションと回転:PEFTにおける軽量化のための統一フレームワーク
• Authors: Da Chang, Peng Xue, Yu Li, Yongxiang Liu, Pengxiang Xu, Shixun Zhang,
• Abstract要約: DoRA法は重み更新を大きさと方向に分解することで性能を向上させる。 本研究では,重み更新行列の特異値エントロピーを増大させる能力からDoRAの成功が導かれることを確かめる。 我々は、DoRAを数学的に等価で効率的な行列形式に再構成し、学習可能な重み条件付け法として明らかにした。
• 参考スコア（独自算出の注目度）: 19.773848189002965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods are crucial for adapting large pre-trained models. Among these, LoRA is considered a foundational approach. Building on this, the influential DoRA method enhances performance by decomposing weight updates into magnitude and direction. However, its underlying mechanism remains unclear, and it introduces significant computational overhead. In this work, we first identify that DoRA's success stems from its capacity to increase the singular value entropy of the weight update matrix, which promotes a more uniform update distribution akin to full fine-tuning. We then reformulate DoRA into a mathematically equivalent and more efficient matrix form, revealing it as a learnable weight conditioning method. Based on this insight, we propose a unified framework for designing advanced PEFT methods by exploring two orthogonal dimensions: the architectural placement and the transformation type of the conditioning matrix. Within this framework, we introduce two novel methods: (1) \textbf{Pre-Diag}, which applies a diagonal conditioning matrix before the LoRA update to efficiently calibrate the pre-trained weights, thereby enhancing performance while reducing training time; and (2) \textbf{S}kewed \textbf{O}rthogonal \textbf{R}otation \textbf{A}daptation (\textbf{SORA}), which employs a parameter-efficient orthogonal rotation to perform a more powerful, norm-preserving transformation of the feature space. Extensive experiments on natural language understanding and generation tasks demonstrate that our proposed methods achieve superior performance and efficiency compared to both LoRA and DoRA. The code is available at https://github.com/MaeChd/SORA.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)法は,大規模な事前学習モデルの適応に不可欠である。 このうち、LoRAは基本的なアプローチだと考えられている。 これに基づいて、影響力のあるDoRA法は、重み更新を大きさと方向に分解することで性能を向上させる。 しかし、その基盤となるメカニズムはいまだ不明であり、かなりの計算オーバーヘッドをもたらす。 本研究では,DoRA の成功は,重み更新行列の特異値エントロピーを増大させる能力に起因し,より均一な更新分布をフル微調整と同様に促進する。 次に、DoRAを数学的に等価で効率的な行列形式に再構成し、学習可能な重み条件付け法として明らかにする。 この知見に基づいて,条件付き行列のアーキテクチャ配置と変換タイプという2つの直交次元を探索することにより,高度なPEFT手法を設計するための統一的なフレームワークを提案する。 本枠組みでは,(1) LoRA更新前の対角的条件行列を適用して,事前学習した重みを効率的に校正し,トレーニング時間を短縮しながら性能を向上させる,(2) \textbf{S}kewed \textbf{O}rthogonal \textbf{R}otation \textbf{A}daptation (\textbf{SORA}) という2つの新しい手法を導入する。 自然言語理解と生成タスクに関する広範囲な実験により,提案手法はLoRAとDoRAの双方と比較して,優れた性能と効率を実現することが示された。 コードはhttps://github.com/MaeChd/SORAで公開されている。

関連論文リスト

• ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
  以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。 本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
  論文  参考訳（メタデータ） (2025-07-09T23:52:31Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
  Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。 我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。 実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-31T12:48:27Z)
• SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
  本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。 本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-07T15:37:13Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。