論文の概要: Ori: Drift-Aware Streaming $k$-PCA for Very Low-Rank LLM Training

• arxiv url: http://arxiv.org/abs/2610.22794v1
• Date: Fri, 16 Oct 2026 01:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.724916
• Title: Ori: Drift-Aware Streaming $k$-PCA for Very Low-Rank LLM Training
• Title（参考訳）: Ori:低域LLMトレーニングのためのドリフトアウェアストリーミング$k$-PCA
• Abstract要約: GaLore が先駆的な低ランク LLM の著名なファミリーは勾配部分空間射影を行う。 時間とともに変化する主方向をキャプチャするLLMをトレーニングするための,新しい低ランクアルゴリズムであるOriを提案する。 実際、Oriは1B LLaMA事前訓練タスクにおいて、最先端のローランクのパフォーマンスギャップを最大69.3%削減する。
• 参考スコア（独自算出の注目度）: 14.22660785440255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A prominent family of low-rank LLM optimizers, pioneered by GaLore, performs gradient-subspace projection: at each step, they project the gradient into a low-dimensional subspace and map the update back to the full model. Most existing work either recomputes the gradient subspace at certain intervals, or performs post-hoc adaptation to catch up to the moving subspace. In this work, we explicitly identify in practice the slow, stable manner in which LLM gradient subspaces drift across time. To this end, we propose Ori, a novel low-rank optimizer for training LLMs that captures the shifting principal gradient directions over time to achieve state-of-the-art accuracy under stringent low-rank constraints. Ori employs a streaming $k$-PCA algorithm inspired by Oja++, whose low per-step cost enables high-frequency, on-the-fly subspace tracking. In practice, Ori reduces the performance gap of the state-of-the-art low-rank optimizers to full-rank optimizers by up to 69.3\% on a 1B LLaMA pretraining task, and achieves the best performance on 10 out of 16 task scenarios in Roberta-Base fine-tuning. Together, these contributions allow Ori to further push the performance and efficiency frontiers of gradient-projecting optimizers, narrowing the gap to full-rank training for LLMs. Code can be found at https://anonymous.4open.science/r/Ori-Submission-2132.
• Abstract（参考訳）: GaLoreが先駆的な低ランクLLMオプティマイザの著名なファミリーは勾配-部分空間投影を行い、各ステップで勾配を低次元の部分空間に投影し、更新をフルモデルにマップする。 既存の作業の多くは、一定の間隔で勾配部分空間を再計算するか、移動部分空間に追いつくためにポストホック適応を実行するかのいずれかである。 本研究は, LLM勾配部分空間が時間にわたってドリフトする, 遅くて安定な手法を, 実際に明確に同定するものである。 そこで本研究では,厳密な低ランク制約下での最先端の精度を達成するために,時間とともに主勾配方向をシフトするLLMをトレーニングするための新しい低ランクオプティマイザであるOriを提案する。 OriはOja++にインスパイアされたストリーミング$k$-PCAアルゴリズムを採用している。 実際にOriは、最先端のローランクオプティマイザとフルランクオプティマイザのパフォーマンスギャップを1B LLaMAプレトレーニングタスクで最大69.3\%削減し、Roberta-Baseの16のタスクシナリオのうち10で最高のパフォーマンスを達成する。 これらの貢献により、Oriは勾配プロジェクションオプティマイザの性能と効率のフロンティアをさらに推し進め、LLMのフルランクトレーニングへのギャップを狭めることができる。 コードはhttps://anonymous.4open.science/r/Ori-Submission-2132にある。

関連論文リスト

• Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards [96.15300825638985]
  RLVR(Reinforcement Learning with rewards)は、大規模言語モデル(LLM)が推論能力を取得する方法を変えようとしている。 RLVRは異なる幾何を要求する異なる最適化幾何を誘導するのか? 我々は、勾配のスペクトルエネルギー分布から効果的な更新ランクを推定し、その進化を追跡し、各更新を低ランク部分空間に駆動する勾配信号を閉じ込めるアレスを導入する。
  論文  参考訳（メタデータ） (2026-10-12T10:21:21Z)
• Zeroth-Order Fine-Tuning of LLMs in Learnable Low-Rank Subspaces [9.859893936091813]
  AdaSub-ZOは,学習可能な低ランク部分空間における,フォワードのみのファインチューニングフレームワークである。 AdaSub-ZOは、有限差分フィードバックから直接階層的射影行列を反復的に学習し、タスク認識下降方向を追跡する。 自然言語理解タスクの実験は、AdaSub-ZOが既存のZOベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-10-10T23:33:23Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching [0.5390933335965427]
  GaLoreは、低ランクのサブスペースで勾配を更新することで、メモリ効率のトレーニングを可能にする。 勾配上のSingular Value Decomposition(SVD)プロセスにより、同等のトレーニング時間コストが発生する。 提案するLotusは,投影過程を単純に修正することで,このトレードオフを解決する手法である。
  論文  参考訳（メタデータ） (2026-02-01T13:48:00Z)
• Towards Fast LLM Fine-tuning through Zeroth-Order Optimization with Projected Gradient-Aligned Perturbations [23.409093103129706]
  ゼロ階数最適化(ZO)を用いた細調整大型言語モデル(LLM)が,従来の勾配法に代わる有望な代替手段として登場した。 既存のZO法は勾配推定のばらつきに悩まされ、大規模なモデルでは収束が遅く、最適以下の性能が低下する。 本稿では,P-GAPを提案する。
  論文  参考訳（メタデータ） (2025-10-21T02:19:11Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Fira: Can We Achieve Full-rank Training of LLMs Under Low-rank Constraint? [40.94505326255136]
  低ランクトレーニングは、大規模言語モデルのトレーニングにおいて、メモリ使用量を減らすための有望なアプローチとして登場した。 本研究では,この目標を達成するための最初の試みとして,Firaと呼ばれるLLM用のプラグイン・アンド・プレイ・トレーニング・フレームワークを提案する。 FiraはLoRAとGaLoreのどちらよりも優れており、フルランクトレーニングに匹敵する、あるいはそれ以上のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-10-02T14:58:27Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。