論文の概要: FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.29317v1
• Date: Thu, 28 May 2026 03:47:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.648078
• Title: FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning
• Title（参考訳）: FoRA:パラメータ効率の良いファインチューニングのための釣り直交ランク適応
• Authors: Juneyoung Park, Seongbae Lee, Han-Sang Lee, Kyuho Lee, Minjae Kim, Seungheon Hyeon, Kiduk Kwon, Seongwan Kim, Jaeho Lee,
• Abstract要約: 我々はFoRAを導入し、アダプタのランクではなく、適応されたレイヤの数を減らすことでゴールを再考する。 FoRAはパラメータ予算の半分でLoRAとDoRAを上回っている。 LLaMA、Qwen3、Gemmaファミリーの12個のバックボーンのクロスアーキテクチャ実験により、270Mから32Bパラメータの連続的な増加が確認された。
• 参考スコア（独自算出の注目度）: 9.545927016753025
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Parameter-efficient fine-tuning(PEFT) has largely focused on LoRA and its accuracy-oriented variants, leaving the original goal of reducing trainable parameters has receivedcomparatively little attention. We introduce FoRA, which revisits this goal by reducing the number of adapted layers rather than adapter rank. FoRA selects task-informative layers via a single-pass diagonal Fisher score (under 1% of training cost) and trains the LoRA down-projection at selected layers on the Stiefel manifold, preserving column orthonormality and effective rank. FoRA consistently outperforms LoRA and DoRA at half their parameter budget, and falls within 0.7-0.8 accuracy points of AdaLoRA at one-quarter its parameter count, across five LLaMA-family backbones. Cross-architecture experiments on twelve backbones from the LLaMA, Qwen3, and Gemma families confirm consistent gains from 270M to 32B parameters. The two components combine super-additively: Fisher selection alone matches rank reduction at the same budget, while the Stiefel constraint provides the decisive additional gain.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)はLoRAとその精度指向の変種に大きく焦点を合わせており、トレーニング可能なパラメータを減らすという当初の目標はほとんど注目されていない。 我々はFoRAを導入し、アダプタのランクではなく、適応されたレイヤの数を減らすことで、この目標を再考する。 FoRAはシングルパスの対角線フィッシャースコア(トレーニングコストの1%以下)を介してタスク不変層を選択し、スティフェル多様体上の選択された層でLORAダウンプロジェクションを訓練し、列の正則性と有効ランクを保存する。 FoRAはパラメータの予算の半分でLoRAとDoRAを常に上回り、パラメータカウントの4分の1でAdaLoRAの0.7-0.8以内の精度で、5つのLLaMAファミリーのバックボーンに収まる。 LLaMA、Qwen3、Gemmaファミリーの12個のバックボーンのクロスアーキテクチャ実験により、270Mから32Bパラメータの連続的な増加が確認された。 フィッシャーの選択は、同じ予算でランクの減少と一致し、スティフェルの制約は決定的な追加利得を提供する。

関連論文リスト

• GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
  GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。 トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
  論文  参考訳（メタデータ） (2026-01-01T06:31:54Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs [0.46040036610482665]
  本稿では,学習可能なスケーリング因子によるランク割り当てを自動化する新しいフレームワークであるAdaptive Rank Dynamic LoRA(ARD-LoRA)を紹介する。 ARD-LoRAは、連続的で、差別化可能な、ヘッドランクごとの適応を可能にする。 LLAMA-3.1-70BとPaliGemma-2の実験ではARD-LoRAの有効性が示され、トレーニング可能なパラメータは0.32%しかなかった。
  論文  参考訳（メタデータ） (2025-06-23T03:45:37Z)
• DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
  低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。 パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。 我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
  論文  参考訳（メタデータ） (2025-05-27T08:19:07Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices [24.725928966071212]
  Federated Fine-tuning (FedFT) は、事前訓練された言語モデルを分散的に微調整するために提案されている。 LEGENDと呼ばれる新しいLoRAベースのFedFTフレームワークを提案する。 我々は,LoRA深度とランク分布の結合関係を解析し,不均一デバイスに対する効率的なLoRA構成アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-28T04:00:42Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。