Fugu-MT 論文翻訳(概要): MoARa: Module-Aware Rank Allocation and Structure-Preserving Decomposition for Low-Rank LLM Pre-training

論文の概要: MoARa: Module-Aware Rank Allocation and Structure-Preserving Decomposition for Low-Rank LLM Pre-training

arxiv url: http://arxiv.org/abs/2609.15037v1
Date: Mon, 14 Sep 2026 04:53:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.077872
Title: MoARa: Module-Aware Rank Allocation and Structure-Preserving Decomposition for Low-Rank LLM Pre-training
Title（参考訳）: MoARa:低ランクLLM予修のためのモジュール対応ランクアロケーションと構造保存分解
Abstract要約: MoARaは、静的プロファイリングベースのモジュール対応プロジェクションランクアロケーションとブロックワイド・マグニチュード・指向分解を組み合わせた。 GaLore with MoARaは、Llama 2 7Bで、より少ないステップでGaLoreの最終パープレクティリティに到達し、34%のウォールタイムを減らした。
参考スコア（独自算出の注目度）: 29.567949375022994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-rank gradient projection reduces the optimizer-state memory cost of large language model (LLM) pretraining, but the steps and wall-clock time needed to reach a target quality remain a meaningful axis for improvement. We attribute this to two design choices in existing methods: the projection-rank budget is allocated uniformly across Transformer modules with heterogeneous projection sensitivity, and projecting a raw gradient attenuates its magnitude and direction jointly. We propose MoARa, which combines a static profiling-based module-aware projection-rank allocation with a block-wise magnitude-direction decomposition; the default block size is set in the neighborhood of the attention head dimension. Across five Transformer architectures spanning Llama, Qwen, and DeepSeek at 300M to 7B scales, GaLore with MoARa reaches standard GaLore's final perplexity in 37% fewer steps and 34% less wall-clock time on Llama 2 7B, with only 0.2% peak reserved memory overhead under standard graph compilation. Across the six low-rank pretraining methods we evaluate, module-aware rank allocation alone delivers directionally consistent step reductions on all six. On compatible hosts, the two-component design reaches up to 41.7% step reduction and 37.1% wall-clock reduction.
Abstract（参考訳）: 低ランク勾配プロジェクションは、大規模言語モデル(LLM)の事前訓練の最適化状態記憶コストを低減させるが、目標品質に到達するために必要なステップとウォールクロック時間は、改善のための重要な軸のままである。予測ランクの予算は、均一な射影感度を持つトランスフォーマーモジュール間で均一に配分され、生の勾配は、その大きさと方向を同時に減衰させる。本稿では,静的なプロファイリングに基づくモジュール対応プロジェクションランクアロケーションとブロックワイド・マグニチュード・ディレクションの分解を組み合わせ,アテンションヘッド次元の近傍にデフォルトブロックサイズを設定するMoARaを提案する。 Llama、Qwen、DeepSeekにまたがる5つのトランスフォーマーアーキテクチャのうち、3億から7Bスケールで、MoARaを使用したGaLoreは、標準のGaLoreの最終パープレクシリティを37%削減し、Llama 2 7Bのウォールクロック時間を34%削減した。評価した6つの低ランク事前訓練方法の中で、モジュール対応のランクアロケーションだけで6つすべてに対して方向整合的なステップリダクションを提供する。互換性のあるホストでは、2コンポーネントの設計は41.7%のステップ削減と37.1%のウォールクロック削減に達する。

関連論文リスト

Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression [8.890261387138215]
本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。 LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
論文参考訳（メタデータ） (2026-09-14T16:36:46Z)
Stable FP4 Training via Transposition-Invariant Block Quantization [14.373963304887754]
従来の1Dブロック量子化では、前方と後方のパスは変換後に同じ値に誘電性スケーリング因子を割り当てる。本稿では,2次元ブロックFP4量子化に基づく低精度トレーニングフレームワークを提案する。提案手法は安定なエンドツーエンドFP4トレーニングを実現し,BF16の性能と密に一致し,パープレキシティと下流精度が1.3%未満に低下した。
論文参考訳（メタデータ） (2026-07-27T18:03:34Z)
GoQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization [4.700954456190739]
エッジデバイス上の大規模言語モデル (LLM) とビジョントランスフォーマー (ViT) は、メモリ制限と、密度の高いマルチプライアキュムレート (MAC) 配列によって引き起こされる重要なタイミングボトルネックによって制約される。超低ビット状態において、対数パワー・オブ・ツー(PoT)量子化はMAC演算をビットシフトで置き換えることで、ハードウェア効率の良い代替手段を提供する。本稿では,アルゴリズム・ハードウェアの共同設計フレームワークであるGeometric Orthogonal Residual Projection Quantization (GoQuant)を提案する。
論文参考訳（メタデータ） (2026-05-25T17:52:46Z)
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文参考訳（メタデータ） (2026-02-04T02:54:37Z)
Breaking the Blocks: Continuous Low-Rank Decomposed Scaling for Unified LLM Quantization and Adaptation [46.34608916687127]
低ランク分解スケーリング(LoRDS)は、この低ランク分解を通じて量子化の粒度を再考する統一フレームワークである。空間的制約の「ブロックを壊す」ことで、LoRDSはシームレスな効率ライフサイクルを確立する。 LoRDSは、量子化タスクと下流細調整タスクの両方において、さまざまなモデルファミリの最先端のベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-01-30T08:46:02Z)
SARA: Scene-Aware Reconstruction Accelerator [8.403194119298622]
SARAは、SfM(Structure-from-Motion)のための幾何学駆動のペア選択モジュールである。視覚的類似性のみに基づいてペアを選択する従来のパイプラインとは異なり、SARAは幾何学第一対選択を導入する。軽量のプレマッチングステージは、互いに近接する隣人とRANSACを使用して、再建情報度を推定する。
論文参考訳（メタデータ） (2026-01-11T09:45:03Z)
Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文参考訳（メタデータ） (2025-05-01T06:47:45Z)
TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs [58.19080159470868]
モデルと時間次元の両方にわたって低ランク度をキャプチャする新しい低ランクZO推定器TeZOを提案する。具体的には、時間次元に沿ったZO摂動を3次元テンソルとして表現し、Canonical Polyadic Decomposition (CPD)を用いて各低ランク2次元行列を抽出する。
論文参考訳（メタデータ） (2025-01-31T11:34:03Z)
MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文参考訳（メタデータ） (2024-08-19T01:30:14Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
LQ-LoRA: Low-rank Plus Quantized Matrix Decomposition for Efficient Language Model Finetuning [66.85589263870702]
提案手法では,事前学習した行列を高精度の低ランク成分とメモリ効率の量子化成分に分解するために反復アルゴリズムを用いる。微調整されたRoBERTaとLLaMA-2の実験は、我々の低ランク+量子化行列分解法(LQ-LoRA)が強いQLoRAおよびGPTQ-LoRAベースラインより優れていることを示した。
論文参考訳（メタデータ） (2023-11-20T18:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。