論文の概要: Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

• arxiv url: http://arxiv.org/abs/2610.10630v1
• Date: Wed, 07 Oct 2026 13:05:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.584804
• Title: Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning
• Title（参考訳）: 位相HDC:離散位相学習におけるグラディエント閾値を用いた最適化履歴の置き換え
• Abstract要約: コンパクトモデルのトレーニングは、記憶するよりもはるかに多くのメモリを必要とすることが多い。 位相HDCは、現在の勾配の兆候に対して、各保存角度を更新毎に少なくとも1ステップずつ回転させる。 標準のfloat32 Adamより16-23$timesが安く、4--6$timesが8ビットAdamより安い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training a compact model often needs far more memory than storing it, because the optimizer keeps its own records of past gradients. For a hyperdimensional classifier whose learned parameters are low-bit angles, which we call a \emph{phase memory}, these records take several times more memory than the model itself. We ask whether such a model can be trained while storing nothing but the model. The proposed method, Phase-HDC, turns each stored angle by at most one step per update, against the sign of its current gradient, and only when that gradient is large enough. We show that this simple rule is the exact solution of a first-order loss model in which every changed parameter pays a fixed cost. When everything except the update rule is held fixed, Phase-HDC matches the accuracy of Adam with 6-bit moments while storing three times less. Across eleven image, tabular, and text datasets, it stores 16--23$\times$ less than standard float32 Adam and 4--6$\times$ less than 8-bit Adam. The price is an average loss of about five accuracy points against float32 Adam, while Phase-HDC is more accurate than 8-bit Adam on six of the eleven datasets, including byte-level text prediction, where 8-bit Adam collapses. Instrumented training runs explain these outcomes. Once parameters must sit on a discrete grid, Adam's moments mainly decide whether a parameter moves at all, a decision that a threshold on the current gradient can make without memory, and coarse quantization of the moments breaks this decision for inputs that the data rarely contain. The storage savings are logical state rather than measured hardware memory.
• Abstract（参考訳）: コンパクトモデルのトレーニングは、過去の勾配の記録を保持するため、記憶するよりもはるかに多くのメモリを必要とすることが多い。 学習パラメータが低ビット角である超次元分類器では、これらのレコードはモデル自体よりも数倍のメモリを必要とする。 このようなモデルをモデルのみを格納しながらトレーニングできるかどうかを問う。 提案手法であるPhase-HDCは,その勾配が十分に大きい場合にのみ,更新毎に各保存角度を少なくとも1ステップずつ回転させる。 この単純なルールは、変化したパラメータが固定コストを支払う1次損失モデルの正確な解であることを示す。 更新ルール以外はすべて固定されている場合、フェーズHDCはAdamの精度と6ビットのモーメントとを一致させ、3倍の精度で保存する。 11の画像、表、テキストデータセットに16～23$\times$標準のfloat32 Adamと4～6$\times$8ビットのAdamを格納する。 一方8ビットのAdamは8ビットのAdamが崩壊するバイトレベルのテキスト予測を含む11のデータセットのうち6つで8ビットのAdamよりも精度が高い。 計器訓練はこれらの結果を説明する。 パラメータが離散格子上に座らなければならないと、Adamのモーメントは、パラメータが動くかどうかを主に決定し、現在の勾配のしきい値がメモリなしで決定し、モーメントの粗い量子化は、データがほとんど含まない入力に対してこの決定を破る。 ストレージの節約は、測定されたハードウェアメモリよりも論理状態である。

関連論文リスト

• When Does Backpropagating Through Policy Memory Matter? Physical Credit, Optimizer Updates, and Observability [1.7763177793955525]
  Transformer-XLとTruncatedのバックプロパゲーションは、その値を保持しながら保存された履歴の2番目のパスをカットした。 パラメータ勾配, 計算結果の更新, およびトランスフォーマー容器軌道モデルおよび四重項追跡ポリシーの継続訓練を計測する。
  論文  参考訳（メタデータ） (2026-09-27T03:46:06Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training [43.28268986528884]
  FORGEはステップを後方のパスに折りたたみ、一度に1つのタイルを全てレジスタに印加するので、各タイルは生成した瞬間に消費され、テンソルになることはない。 すべての要素ワイズ更新において、すべての要素ワイズルールにおいて、すべての要素ワイズルールにおいて、すべての正確性は生存し、シーケンス並列化される。
  論文  参考訳（メタデータ） (2026-06-22T07:08:31Z)
• FlashOptim: Optimizers for Memory Efficient Training [4.024850952459759]
  70億のパラメーターモデルのトレーニングでさえ、100GB未満のアクセラレーターメモリを持つ研究者にとって現実的ではない。 FlashOptimは、モデルの品質とAPIの互換性を保ちながら、パラメータ単位のメモリを50%以上削減する最適化スイートです。
  論文  参考訳（メタデータ） (2026-02-26T18:52:22Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• When Can You Get Away with Low Memory Adam? [48.30892531847662]
  我々は、$textitSlimAdam$がAdamのパフォーマンスと安定性にマッチし、合計2回目で98%のコストを節約できることを示します。 code for $textitSlimAdam$はhttps://github.com/dayal-kalra/low-Memory-adamで入手できる。
  論文  参考訳（メタデータ） (2025-03-03T18:59:40Z)
• Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training [6.0904817096340125]
  本稿では,Adam Accumulation (AdamA) という,アクティベーションとグラデーションメモリの両方を削減可能な新しいAdamの蓄積手法を提案する。 具体的には、AdamAは状態への勾配を直接統合し、マイクロバッチ上で状態を蓄積することで、使用直後に勾配を解放することができる。 AdamAは、トレーニングスループットが2%未満のグラデーション累積に比べて最大23%のメモリ削減を実現している。
  論文  参考訳（メタデータ） (2023-05-31T16:06:50Z)
• Memory Efficient Neural Processes via Constant Memory Attention Block [55.82269384896986]
  CMANP(Constant Memory Attentive Neural Processs)は、NPの変種である。 我々は,CMANPが従来の手法よりもはるかにメモリ効率が良く,NPベンチマークで最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-05-23T23:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。