論文の概要: COREM: Cosine-Relation Momentum Reshaping with Stateful Writeback

• arxiv url: http://arxiv.org/abs/2609.22487v1
• Date: Fri, 18 Sep 2026 18:51:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.410004
• Title: COREM: Cosine-Relation Momentum Reshaping with Stateful Writeback
• Title（参考訳）: COREM:Cosine-Relation Momentum Reshaping with Stateful Writeback
• Abstract要約: 本稿では,COREM(Cosine-Relation Momentum Reshaping method with stateful writeback。 COREMはモーメント状態を更新単位に分割し、それらの関係を計算し、変換された状態をリレーショナルデータベースに書き戻す前にモーメントを再生成する。 Muonと比較すると、COREMは初期段階のステップ効率が低いが、トレーニングの中期から後期のステージでは改善され、CIFAR-10での最終的なバリデーション性能が向上し、enwik8での同等のファイナルパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 17.98217556259967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Matrix-valued optimizer states may contain relational structure that is not captured by treating their entries independently. We study whether relations within matrix-valued optimizer states can be exploited to improve optimization. To this end, we introduce a unit-relation-transform abstraction and instantiate it as COREM, a Cosine-Relation Momentum Reshaping method with stateful writeback. COREM partitions the momentum state into update units, computes cosine relations among them, and uses these relations to reshape the momentum before writing the transformed state back to the optimizer. This stateful mechanism allows the reshaped momentum to affect not only the current update but also future optimization dynamics. We evaluate COREM on CIFAR-10 with an MLP and on enwik8 with a Transformer. Compared with Muon, COREM shows lower early-stage step efficiency but stronger improvement in the mid-to-late stages of training, achieving better final validation performance on CIFAR-10 and comparable final performance on enwik8. Spectral diagnostics on enwik8 show that COREM consistently increases entropy effective rank and reduces the concentration of singular energy in dominant modes, while preserving an anisotropic spectrum. For square matrix updates, COREM requires approximately 13.3% of the transformation FLOPs of Muon with five Newton-Schulz iterations.
• Abstract（参考訳）: 行列値オプティマイザ状態は、そのエントリを独立に扱うことによって取得されないリレーショナル構造を含むことができる。 行列値オプティマイザ状態内の関係を利用して最適化を改善することができるかを検討する。 そこで本研究では,COREM(Cosine-Relation Momentum Reshaping method)として,ステートフル・ライトバックを備えたユニットリレーショナル・トランスフォーメーションの抽象化を導入する。 COREMはモーメント状態を更新単位に分割し、それらの間のコサイン関係を計算し、変換された状態をオプティマイザに書き戻す前に運動量を再生成するためにこれらの関係を利用する。 このステートフルなメカニズムにより、リフォームモーメントは現在の更新だけでなく、将来の最適化ダイナミクスにも影響を及ぼす。 CIFAR-10 上の COREM は MLP で, enwik8 では Transformer で評価した。 Muonと比較すると、COREMは初期段階のステップ効率が低いが、トレーニングの中期から後期のステージでは改善され、CIFAR-10での最終的なバリデーション性能が向上し、enwik8での同等のファイナルパフォーマンスを実現している。 enwik8のスペクトル診断では、COREMはエントロピー効果のランクを一貫して増加させ、優性モードにおける特異エネルギーの濃度を減少させ、異方性スペクトルを保存する。 正方行列の更新には、COREMは5つのニュートン・シュルツ繰り返しを持つミューオンの変換FLOPの約13.3%を必要とする。

関連論文リスト

• Nonsmooth Optimization via Orthogonalized Momentum [11.546795991978613]
  すべての固定運動量因子 $in[0,1)$ に対して、ムオンは凸リプシッツの目的として大域最適解に近づくことができないことを示す。 本稿では,運動量と勾配を結合したMAGDを提案する。
  論文  参考訳（メタデータ） (2026-09-12T03:08:36Z)
• Q-Delta: Beyond Key-Value Associative State Evolution [29.819619167940683]
  リニアアテンションは、逐次状態の進化としてシーケンスモデリングを再構成する。 クエリ条件付き状態読み出しは、蓄積メモリ上で構造化された値予測を誘導することを示す。 そこで我々はQ-Deltaを提案する。Q-Deltaは問合せ対応のデルタルールで、混合キークエリ予測エラーを状態の進化に組み込む。
  論文  参考訳（メタデータ） (2026-06-07T19:49:01Z)
• Delving into Muon and Beyond: Deep Analysis and Extensions [8.297062899157664]
  We study Muon as the p = 0 end of a family of a spectrum transformations of form U boldsymbolp V'。 RMS正規化更新は、最初のモーメント更新よりも安定した最適化をもたらす。 この結果から,Muonはスペクトル正規化の有効な形式として理解されているのがよいが,汎用的に優れた最適化手法ではないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T15:40:47Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• AuON: A Linear-time Alternative to Semi-Orthogonal Momentum Updates [0.0]
  運動量に基づく更新の半直交特性について検討し、スペクトルノルム信頼領域下での運動量更新を束縛する方法を開発した。 半直交行列を構成することなく強い性能を達成する線形時間であるAuON(正規化非線形スケーリングによる代替単位ノルム運動量更新)を提案する。 提案手法は, 双極子-コサインRMSスケーリング変換と正規化を組み合わせることで, ニュートン-シュルツ法と比較して, 有効性と計算効率の両立を実証する。
  論文  参考訳（メタデータ） (2025-09-29T06:03:53Z)
• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
  シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。 本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。 より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
  論文  参考訳（メタデータ） (2021-05-25T19:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。