論文の概要: OASIS: Online Activation Subspace Learning for Memory-Efficient Training

• arxiv url: http://arxiv.org/abs/2604.09406v1
• Date: Fri, 10 Apr 2026 15:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.923592
• Title: OASIS: Online Activation Subspace Learning for Memory-Efficient Training
• Title（参考訳）: OASIS: メモリ効率のトレーニングのためのオンラインアクティベーションサブスペース学習
• Authors: Sakshi Choudhary, Utkarsh Saxena, Kaushik Roy,
• Abstract要約: メモリ効率向上のためのオンラインアクティベーションサブスペース学習アルゴリズムを提案する。 OASISはトレーニング中に低次元のアクティベーションサブスペースを追跡し、継続的に更新する。 最大2ドル(約2,800円)のピークメモリを実現します。
• 参考スコア（独自算出の注目度）: 8.921166277011345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) is constrained by memory requirements, with activations accounting for a substantial fraction of the total footprint. Existing approaches reduce memory using low-rank weight parameterizations or low-rank gradient subspaces for optimizer states, while activation memory is addressed through architectural modifications or compression schemes based on periodically updated projections. We propose OASIS, an online activation subspace learning algorithm for memory-efficient training that tracks and continuously updates a low-dimensional activation subspace during training. Intermediate activations are projected onto this evolving subspace, reducing memory without modifying forward-pass computations. The evolving activation subspace induces low-rank gradient representations, enabling both gradients and optimizer states to be maintained directly in this subspace, while a projection-aware optimizer consistently transports optimizer states across subspace updates for stable training. Across various finetuning and pretraining tasks, OASIS achieves up to $2\times$ lower peak memory than full fine-tuning while matching its performance and outperforming prior low-rank methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトレーニングはメモリ要件によって制限されており、アクティベーションは全体のフットプリントのかなりの部分を占めている。 既存のアプローチでは、最適化状態のために低ランクのパラメータ化や低ランクの勾配部分空間を使用してメモリを削減するが、アクティベーションメモリは定期的に更新されたプロジェクションに基づいたアーキテクチャ変更や圧縮スキームによって処理される。 トレーニング中の低次元のアクティベーションサブスペースを追跡し,継続的に更新する,メモリ効率のトレーニングのためのオンラインアクティベーションサブスペース学習アルゴリズムであるOASISを提案する。 中間活性化はこの進化するサブスペースに投影され、フォワードパス計算を変更することなくメモリを削減できる。 進化するアクティベーションサブスペースは低ランク勾配表現を誘導し、勾配とオプティマイザ状態の両方をこのサブスペース内で直接維持し、プロジェクション対応オプティマイザは、安定したトレーニングのためにサブスペース更新全体にわたってオプティマイザ状態を一貫して輸送する。 OASISは様々な微調整と事前訓練のタスクにまたがって、フル微調整よりも最大2\times$低ピークメモリを実現し、パフォーマンスと以前の低ランクメソッドよりも優れたパフォーマンスを実現している。

関連論文リスト

• MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
  Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。 彼らは列車の干渉ミスマッチに悩まされている。 本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:39:56Z)
• LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning [9.009523608709117]
  オンデバイス学習は、リソース制約のある環境におけるパーソナライズ、プライバシ、長期適応に不可欠である。 既存のアクティベーション圧縮手法は、このコストを削減するが、繰り返し低ランクの分解に依存し、計算オーバーヘッドを発生させる。 アクティベーションプロジェクションのための再利用可能な低ランク部分空間を得るために,一ショット高次特異値分解(SVD)を行うフレームワークであるLANCEを提案する。
  論文  参考訳（メタデータ） (2025-09-25T21:33:40Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• SubTrack++ : Gradient Subspace Tracking for Scalable LLM Training [4.804685266333252]
  大規模言語モデル(LLM)のトレーニングは、大量のパラメータと状態のオーバーヘッドのため、リソース集約性が高い。 本稿では,Grassmann的部分空間追跡とプロジェクション対応勾配を併用したSubTrack++を提案する。 提案手法はグラスマン幾何学を利用してSOTAの収束を実証し,既存のSOTA法と比較して,事前学習壁時間を最大65%,微調整時間を36%削減する。
  論文  参考訳（メタデータ） (2025-02-03T18:13:52Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Mini-Sequence Transformer: Optimizing Intermediate Memory for Long Sequences Training [78.93900796545523]
  ミニシーケンス変換器(Mini-Sequence Transformer, MsT)は、非常に長いシーケンスを持つ高速かつ高精度なLLMトレーニング手法である。 MsTは入力シーケンスを分割し、中間メモリ使用量を減らすためにミニシーケンスを反復的に処理する。 huggingfaceライブラリと統合され、MsTはQwen、Mistral、Gemma-2の最大コンテキスト長を12-24倍に拡張した。
  論文  参考訳（メタデータ） (2024-07-22T01:52:30Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• BlockLLM: Memory-Efficient Adaptation of LLMs by Selecting and Optimizing the Right Coordinate Blocks [19.007090250576585]
  BlockLLMはブロック座標降下にインスパイアされたアプローチである。 微調整と事前訓練の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-25T05:45:12Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。