論文の概要: FRoD: Full-Rank Efficient Fine-Tuning with Rotational Degrees for Fast Convergence

• arxiv url: http://arxiv.org/abs/2512.23485v1
• Date: Mon, 29 Dec 2025 14:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.530903
• Title: FRoD: Full-Rank Efficient Fine-Tuning with Rotational Degrees for Fast Convergence
• Title（参考訳）: FRoD:高速収束のための回転デグリー付きフルランクファインチューニング
• Authors: Guoan Wan, Tianyu Chen, Fangzheng Feng, Haoyi Zhou, Runhua Xu,
• Abstract要約: 階層的関節分解と自由度を結合した新しい微調整法FRoDを提案する。 視覚、推論、言語理解にまたがる20のベンチマークでは、FRoDは同じ訓練予算の下でトレーニング可能なパラメータの1.72%しか使用せず、完全なモデルの微調整と精度で一致している。
• 参考スコア（独自算出の注目度）: 20.138989330054955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods have emerged as a practical solution for adapting large foundation models to downstream tasks, reducing computational and memory costs by updating only a small subset of parameters. Among them, approaches like LoRA aim to strike a balance between efficiency and expressiveness, but often suffer from slow convergence and limited adaptation capacity due to their inherent low-rank constraints. This trade-off hampers the ability of PEFT methods to capture complex patterns needed for diverse tasks. To address these challenges, we propose FRoD, a novel fine-tuning method that combines hierarchical joint decomposition with rotational degrees of freedom. By extracting a globally shared basis across layers and injecting sparse, learnable perturbations into scaling factors for flexible full-rank updates, FRoD enhances expressiveness and efficiency, leading to faster and more robust convergence. On 20 benchmarks spanning vision, reasoning, and language understanding, FRoD matches full model fine-tuning in accuracy, while using only 1.72% of trainable parameters under identical training budgets.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)法は、大規模な基礎モデルを下流タスクに適用し、少数のパラメータのみを更新することで計算コストとメモリコストを削減するための実用的なソリューションとして登場した。 その中で、LoRAのようなアプローチは効率性と表現力のバランスを保とうとしているが、その固有の低ランク制約のため、収束が遅く、適応能力が制限されることがしばしばある。 このトレードオフは、PEFTメソッドが多様なタスクに必要な複雑なパターンをキャプチャする能力を損なう。 これらの課題に対処するために、階層的関節分解と自由度を結合した新しい微調整法であるFRoDを提案する。 レイヤ間でグローバルに共有されたベースを抽出し、フレキシブルなフルランク更新のためにスケーリングファクタに学習可能な摂動を注入することで、FRoDは表現性と効率を高め、より速くより堅牢な収束をもたらす。 視覚、推論、言語理解にまたがる20のベンチマークでは、FRoDは同じ訓練予算の下でトレーニング可能なパラメータの1.72%しか使用せず、完全なモデルの微調整と精度で一致している。

関連論文リスト

• SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation [62.14510717860079]
  本稿では, 自己回帰モデルの学習効率を, 拡散の並列推論能力で統一するSynergistic Diffusion-Autoregressionパラダイムを提案する。 SDARは、十分に訓練された自己回帰モデル(AR)を、簡潔でデータ効率のよい適応を通じてブロックワイズ拡散モデルに変換する、軽量なパラダイム変換を実行する。 この知見に基づいて、SDARは最小コストで効率的なAR-拡散変換を実現し、並列生成を可能にしながら、ARレベルのパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-07T17:29:28Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation [44.99833362998488]
  Decoupled Low-rank Adaptation (DeLoRA)は学習可能な低ランク行列を正規化しスケールする新しい微調整法である。 DeLoRAは競合するPEFT法の性能に適合し,強靭性を示す。
  論文  参考訳（メタデータ） (2025-03-23T22:00:56Z)
• Bilevel ZOFO: Bridging Parameter-Efficient and Zeroth-Order Techniques for Efficient LLM Fine-Tuning and Meta-Training [44.89297451402362]
  下流タスクのための微調整済みの大規模言語モデル(LLM)は、重大な計算上の課題を示す。 本稿では,2レベル最適化手法であるBilevel-ZOFOを提案する。これは,高速で局所的なFO-PEFT適応を内部レベルで結合し,メモリ効率の高いZO更新を外部レベルで安定的に行う。 また,Bilevel-ZOFOは既存のZO法やFO-PEFT法よりも優れており,メモリ効率は2～4倍向上した。
  論文  参考訳（メタデータ） (2025-02-05T20:47:44Z)
• Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
  Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。 本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
  論文  参考訳（メタデータ） (2025-01-15T11:10:37Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 Ferretは、LLMのスケーラブルなフルパラメータチューニングを実現するために、ランダム性を共有する最初の一階法である。 フェレットは高い計算効率、通信オーバーヘッドの低減、高速収束を実現する。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。