論文の概要: ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning

• arxiv url: http://arxiv.org/abs/2510.23818v1
• Date: Mon, 27 Oct 2025 19:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.502959
• Title: ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning
• Title（参考訳）: ScaLoRA: 効率的な高速微調整のための最適スケール低ランク適応
• Authors: Yilang Zhang, Xiaodong Yang, Yiwei Cai, Georgios B. Giannakis,
• Abstract要約: 低ランク適応(LoRA)はこのコストを、低次元の部分空間に重み付けすることで効果的に削減する。 この貢献は、連続する低ランクインクリメントからのハイランクウェイト更新を徐々に蓄積することで、これらの制限を扱う。 再起動することなく効率よくシームレスな最適化を実現するために、この最適な選択は、元の低ランク行列の列を適切にスケーリングすることによって形成される。
• 参考スコア（独自算出の注目度）: 32.55713482636133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) continue to scale in size, the computational overhead has become a major bottleneck for task-specific fine-tuning. While low-rank adaptation (LoRA) effectively curtails this cost by confining the weight updates to a low-dimensional subspace, such a restriction can hinder effectiveness and slow convergence. This contribution deals with these limitations by accumulating progressively a high-rank weight update from consecutive low-rank increments. Specifically, the per update optimal low-rank matrix is identified to minimize the loss function and closely approximate full fine-tuning. To endow efficient and seamless optimization without restarting, this optimal choice is formed by appropriately scaling the columns of the original low-rank matrix. Rigorous performance guarantees reveal that the optimal scaling can be found analytically. Extensive numerical tests with popular LLMs scaling up to 12 billion parameters demonstrate a consistent performance gain and fast convergence relative to state-of-the-art LoRA variants on diverse tasks including natural language understanding, commonsense reasoning, and mathematical problem solving.
• Abstract（参考訳）: 大規模言語モデル(LLM)の規模が拡大するにつれ、計算オーバーヘッドはタスク固有の微調整の大きなボトルネックとなっている。 低ランク適応(LoRA)は、低次元の部分空間への重み更新を収束させることで、このコストを効果的に削減するが、そのような制限は効果を妨げ、収束を遅くする。 この貢献は、連続する低ランクインクリメントからのハイランクウェイト更新を徐々に蓄積することで、これらの制限を扱う。 具体的には、損失関数を最小化し、完全微調整を近似するために、更新あたりの最適低ランク行列を同定する。 再起動することなく効率よくシームレスな最適化を実現するために、この最適な選択は、元の低ランク行列の列を適切にスケーリングすることによって形成される。 厳密な性能保証は、最適スケーリングが分析的に見つけることができることを示している。 一般的なLLMを最大120億のパラメータに拡張した大規模な数値テストは、自然言語理解、常識推論、数学的問題解決を含む様々なタスクにおける最先端のLoRA変種と比較して、一貫した性能向上と高速収束を示す。

関連論文リスト

• Sensitivity-LoRA: Low-Load Sensitivity-Based Fine-Tuning for Large Language Models [26.046100835887525]
  Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) に対する有望なアプローチとして登場し、低ランク分解を用いたモデルの重み付けを近似している。 本稿では,グローバルな感度と局所的な感度の両方に基づいて,動的にランクを重み行列に割り当てる,効率的な微調整法であるSensitivity-LoRAを提案する。 実験により,各種タスクおよびベンチマークにおける感度-LORAの有効性,効率,安定性が示された。
  論文  参考訳（メタデータ） (2025-09-11T03:07:05Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoKO: Low-Rank Kalman Optimizer for Online Fine-Tuning of Large Models [21.889177019111525]
  数百万から数十億のパラメータを持つ大規模モデルをスクラッチからトレーニングすると、かなりの計算コストが発生する。 低ランク適応 (LoRA) を用いて, 勾配に基づく特定のタスクに対して, パラメータ数の削減のみを適応させる。 我々は、十分に確立されたコンピュータビジョンと言語モデルでうまく機能する堅牢なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-15T12:41:31Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
  低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。