論文の概要: FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

• arxiv url: http://arxiv.org/abs/2605.22869v1
• Date: Tue, 19 May 2026 22:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.00864
• Title: FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning
• Title（参考訳）: FuRA:スペクトルプレコンディショニングによるフルランクパラメータ効率のファインチューニング
• Authors: Yequan Zhao, Ruijie Zhang, Liyan Tan, Niall Moran, Tong Qin, Zheng Zhang,
• Abstract要約: フルファインチューニング (Full FT) とパラメータ効率の良いファインチューニングはどちらも、事前トレーニング中に確立されたスペクトル構造を考慮せずに重み更新を導入する。 本稿では,ブロックテンソル-トレイン因数分解 W = LSR に基づく効率的なフルランク適応フレームワーク FuRA を提案する。 この設計は同時にフルランクのスペクトルプリコンディショニングを提供し、フルランクの更新表現を保ち、パラメータ、メモリ、ステップタイム効率をLoRAに匹敵するものにしている。
• 参考スコア（独自算出の注目度）: 7.497481049158277
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Both full fine-tuning (Full FT) and parameter-efficient fine-tuning methods such as LoRA introduce weight updates without accounting for the spectral structure established during pretraining. As a result, noisy gradients from limited fine-tuning data can perturb robust pretrained features. We identify spectral preconditioning as the missing ingredient: reparameterizing each weight matrix through its full-rank singular value decomposition (SVD) and freezing one singular basis constrains updates to the pretrained column space, yielding a preconditioned optimization scheme that outperforms unconstrained Full FT at the same trainable parameter count. Building on this insight, we propose FuRA (Full-Rank Adaptation), an efficient full-rank adaptation framework based on a block tensor-train factorization W = LSR, where the large core L is fixed to the pretrained block-wise SVD basis, while only the compact core R and the block-wise singular values S are optimized. This design simultaneously provides full-rank spectral preconditioning, preserves full-rank update expressivity, and achieves parameter, memory, and step-time efficiency comparable to LoRA. FuRA consistently outperforms Full FT across multiple settings, including LLM fine-tuning (+1.37 on LLaMA-3-8B commonsense reasoning), LLM reinforcement learning for mathematical reasoning, and visual instruction tuning for VLMs. Furthermore, the 4-bit quantized variant, QFuRA, also surpasses QLoRA. Code is available at https://github.com/olokevin/FuRA-NIPS
• Abstract（参考訳）: 完全な微調整(Full FT)とLoRAのようなパラメータ効率の高い微調整手法の両方が、事前訓練中に確立されたスペクトル構造を考慮せずに重み更新を導入する。 その結果、限られた微調整データからの雑音勾配は、頑健な事前訓練された特徴を摂動させることができる。 各重み行列をその全階特異値分解(SVD)によりパラメータ化し、一個の特異基底制約を凍結することにより、事前制約された列空間への更新を凍結し、未制約のフルFTを同時にトレーニング可能なパラメータ数で上回る事前条件付き最適化スキームを生成する。 この知見に基づいて,ブロックテンソル-トレイン因数分解W = LSRに基づく効率的なフルランク適応フレームワークFuRA(Full-Rank Adaptation)を提案する。 この設計は同時にフルランクのスペクトルプリコンディショニングを提供し、フルランクの更新表現を保ち、パラメータ、メモリ、ステップタイム効率をLoRAに匹敵するものにしている。 FuRAは、LLMファインチューニング(LLaMA-3-8Bコモンセンス推論の+1.37)、数学的推論のためのLLM強化学習、VLMのビジュアルインストラクションチューニングなど、複数の設定でフルFTを一貫して上回っている。 さらに、4ビットの量子化変種であるQFuRAもQLoRAを上回っている。 コードはhttps://github.com/olokevin/FuRA-NIPSで入手できる。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Layer-wise LoRA fine-tuning: a similarity metric approach [0.6323908398583081]
  Low-Rank Adaptation (LoRA) 技術は、事前学習されたモデルを凍結し、少数のパラメータを更新することで、このプロセスの計算コストを削減することを目的としている。 従来の問題に対して,LoRAやその変種を用いて,少数の層のみを微調整に体系的に選択することで対処する。 異なるモデルやタスク間で予測性能を維持しながら、LoRAベースのテクニックのトレーニング可能なパラメータを最大50%削減する。
  論文  参考訳（メタデータ） (2026-02-05T18:38:53Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• DiffoRA: Enabling Parameter-Efficient Fine-Tuning via Differential Module Selection [32.369133126167085]
  Low-Rank Adaptation (LoRA) は、既存のトレーニング済みモデルに低ランク行列を組み込むことで、その合理化設計で人気を博している。 本稿では,低ランク分解行列を適応的に適用可能なDiffoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-13T02:41:34Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。 推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。