論文の概要: Are Parameter-Efficient Fine-tuning Methods Really Different?

• arxiv url: http://arxiv.org/abs/2610.09122v1
• Date: Tue, 06 Oct 2026 21:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.608891
• Title: Are Parameter-Efficient Fine-tuning Methods Really Different?
• Title（参考訳）: パラメータ効率の良い微調整法は本当に異なるのか?
• Abstract要約: 言語と拡散モデルにおける6つの手法を比較し、それらのパラメータ化がタスクのパフォーマンス、忘れられ、事前訓練された重み幾何学の変化にどのように関係するかを検討する。 選択したLoRAファミリー法も,事前学習した幾何学をほぼ保存していることがわかった。 いくつかの方法は、設定によって異なる、異なる適応-保持トレードオフを示す。
• 参考スコア（独自算出の注目度）: 17.657081805311286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) offers many parameterizations, yet their methodological and functional differences remain unclear. We compare six methods in language and diffusion models to examine how their parameterizations relate to task performance, forgetting, and changes in pretrained weight geometry. Motivated by the spectrum-preserving design of orthogonal fine-tuning (OFT), we first ask whether spectral preservation is itself important for adaptation and retention. We find that the selected LoRA-family methods also approximately preserve pretrained geometry, and that restoring their slightly drifted singular-value spectra largely preserves task performance, questioning the necessity of explicit geometric preservation. Beyond this, we observe that some methods exhibit distinct adaptation--retention trade-offs that vary across settings: LoRA most consistently limits forgetting at competitive performance, DoRA achieves higher mean task scores than LoRA in most comparisons, while PiSSA often incurs greater retention costs. Further intervention experiments suggest that while performance gains from different PEFT methods can be attributed to modifications in different groups of spectral components, we consistently find that restoring dominant rather than intermediate or trailing components produces the largest mean reduction in general-text NLL or base-image drift. Together, these results motivate evaluating geometric constraints through their functional consequences rather than preservation alone. Code is available at https://github.com/Kuaaannn/PEFT_methods.
• Abstract（参考訳）: パラメータ効率細調整(PEFT)は多くのパラメータ化を提供しているが、その方法論的および機能的差異は明らかでない。 言語と拡散モデルにおける6つの手法を比較し、それらのパラメータ化がタスクのパフォーマンス、忘れられ、事前訓練された重み幾何学の変化にどのように関係するかを検討する。 直交微調整(OFT)のスペクトル保存設計に触発されて、スペクトル保存自体が適応と保持に重要であるかどうかを最初に問う。 選択したLoRAファミリー法は, 事前学習した幾何をほぼ保存し, わずかにドリフトした特異値スペクトルを復元することは, 明らかに幾何的保存の必要性に疑問を呈する。 さらに、いくつかの手法では、設定によって異なる異なる適応-保持トレードオフが示される: LoRAは、競争性能の忘れを常に制限し、DoRAは、ほとんどの比較において、LoRAよりも高い平均タスクスコアを達成し、PiSSAは、しばしば保持コストを増大させる。 さらなる介入実験により,異なるPEFT法の性能向上はスペクトル成分の異なる群における変化に起因することが示唆された。 これらの結果は, 保存のみでなく, 機能的結果を通じて, 幾何的制約の評価を動機付けている。 コードはhttps://github.com/Kuaaannn/PEFT_methodsで入手できる。

関連論文リスト

• PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective [52.693471818837395]
  PEFTは安定性・塑性ジレンマにより評価されるべきである。 本稿では,下流性能と一般能力の維持を計測するベンチマークPEFT-Arenaを紹介する。 そこで本研究では,パスワイド巻き戻しによるポストホック改善の事例研究を行った。
  論文  参考訳（メタデータ） (2026-05-27T17:59:51Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• PiCa: Parameter-Efficient Fine-Tuning with Column Space Projection [9.152388341742048]
  専門的なタスクやドメインに適したエキスパートモデルを構築するためには、微調整された大規模な基盤モデルが不可欠である。 提案手法は,理論上の基礎となるPEFT法であるコロン宇宙投射(PiCa)を用いた効率的なファインチューニングである。 PiCaは、同等あるいはより小さなパラメータ予算の下で、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-26T16:52:40Z)
• 1LoRA: Summation Compression for Very Low-Rank Adaptation [6.00844864296448]
  検討したPEFT法に対して, 線形層毎のパラメータの最小値を微調整する「極低階法」について検討した。 本稿では, 計算, パラメータ, メモリ効率のよい微調整手法である1LoRAを提案する。
  論文  参考訳（メタデータ） (2025-03-11T11:45:20Z)
• EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
  Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-01-21T11:42:09Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。