論文の概要: MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation

• arxiv url: http://arxiv.org/abs/2603.00416v1
• Date: Sat, 28 Feb 2026 02:32:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.179626
• Title: MuonRec: Shifting the Optimizer Paradigm Beyond Adam in Scalable Generative Recommendation
• Title（参考訳）: MuonRec: スケーラブルなジェネレーティブレコメンデーションにおける最適化パラダイムのAdamへのシフト
• Authors: Rong Shan, Aofan Yu, Bo Chen, Kuo Cai, Qiang Luo, Ruiming Tang, Han Li, Weiwen Liu, Weinan Zhang, Jianghao Lin,
• Abstract要約: MuonRecは、提案されたMuonイテレーションをRecSysトレーニングに導入する最初のフレームワークである。 我々は、レコメンデーションモデルのためのオープンソースのトレーニングレシピを開発し、従来のシーケンシャルなレコメンデーションモデルと近代的なジェネレーティブなレコメンデーションモデルの両方で評価する。
• 参考スコア（独自算出の注目度）: 60.1890607252082
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommender systems (RecSys) are increasingly emphasizing scaling, leveraging larger architectures and more interaction data to improve personalization. Yet, despite the optimizer's pivotal role in training, modern RecSys pipelines almost universally default to Adam/AdamW, with limited scrutiny of whether these choices are truly optimal for recommendation. In this work, we revisit optimizer design for scalable recommendation and introduce MuonRec, the first framework that brings the recently proposed Muon optimizer to RecSys training. Muon performs orthogonalized momentum updates for 2D weight matrices via Newton-Schulz iteration, promoting diverse update directions and improving optimization efficiency. We develop an open-source training recipe for recommendation models and evaluate it across both traditional sequential recommenders and modern generative recommenders. Extensive experiments demonstrate that MuonRec reduces converged training steps by an average of 32.4\% while simultaneously improving final ranking quality. Specifically, MuonRec yields consistent relative gains in NDCG@10, averaging 12.6\% across all settings, with particularly pronounced improvements in generative recommendation models. These results consistently outperform strong Adam/AdamW baselines, positioning Muon as a promising new optimizer standard for RecSys training. Our code is available.
• Abstract（参考訳）: Recommenderシステム(RecSys)は、より大きなアーキテクチャとより多くのインタラクションデータを活用してパーソナライズを改善することで、スケーリングを強調している。 しかし、オプティマイザがトレーニングにおいて重要な役割を担っているにも関わらず、現代のRecSysパイプラインはAdam/AdamWにほぼ完全にデフォルトになっている。 この作業では、スケーラブルなレコメンデーションのためのオプティマイザ設計を再検討し、最近提案されたMuonオプティマイザをRecSysトレーニングに導入する最初のフレームワークであるMuonRecを紹介します。 Muon はNewton-Schulz 反復による 2D 重量行列の直交運動量更新を行い、多様な更新方向の促進と最適化効率の向上を実現している。 我々は、レコメンデーションモデルのためのオープンソースのトレーニングレシピを開発し、従来のシーケンシャルなレコメンデーションモデルと近代的なジェネレーティブなレコメンデーションモデルの両方で評価する。 大規模な実験では、MuonRecは、最終ランク付け品質を同時に改善しながら、収束したトレーニングステップを平均32.4\%削減する。 具体的には、MuonRec は NDCG@10 において一貫した相対的なゲインを獲得し、平均 12.6 % を全ての設定で上回り、特に生成的レコメンデーションモデルの改善が顕著である。 これらの結果はAdam/AdamWベースラインを一貫して上回り、MuonをRecSysトレーニングのための有望な新しいオプティマイザ標準として位置づけている。 私たちのコードは利用可能です。

関連論文リスト

• NorMuon: Making Muon more efficient and scalable [71.49702449498085]
  我々はアダムの後継としてノームーンを提案する。 我々は、NorMuonがAdamとMuonの両方を一貫して上回り、Adamより21.74%、Muonより11.31%改善していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T01:13:41Z)
• REG: A Regularization Optimizer for Robust Training Dynamics [24.850151895583494]
  RACS(Row-and-Column-Scaling)オペレータは、更新ステップをより劇的な方法で正規化することにより、既存のトレーニングダイナミクスの実装が簡単になり、互換性が向上する。 我々は,我々のREGがAdamWよりも優れた性能と安定性を達成できることを実証すると同時に,AdamWトレーニングパラダイムとの整合性も維持する。
  論文  参考訳（メタデータ） (2025-10-04T06:05:57Z)
• AdaMuon: Adaptive Muon Optimizer [11.281916426508216]
  AdaMuonは、要素の適応性と、大規模なニューラルネットワークトレーニングのための直交更新を組み合わせる。 AdaMuonは安定性を維持しているが、大規模シナリオではAdamを40%以上のトレーニング効率で上回ることができる。
  論文  参考訳（メタデータ） (2025-07-15T05:49:37Z)
• Muon is Scalable for LLM Training [50.68746986439438]
  MoE(Mixture-of-Expert)モデルであるMoonlightを紹介する。 我々のモデルは現在のフロンティアを改善し、以前のモデルに比べてトレーニングのFLOPをはるかに少なくして、より良いパフォーマンスを実現しています。 メモリ最適化と通信効率のよい分散 Muon 実装をオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2025-02-24T09:12:29Z)
• Preference Diffusion for Recommendation [50.8692409346126]
  DMベースのレコメンデータに適した最適化対象であるPreferDiffを提案する。 PreferDiffは、BPRをログライクなランキング目標に変換することで、ユーザの好みをよりよく把握する。 これはDMベースのレコメンデーション向けに特別に設計された、パーソナライズされたランキングの損失である。
  論文  参考訳（メタデータ） (2024-10-17T01:02:04Z)
• Narrowing the Focus: Learned Optimizers for Pretrained Models [24.685918556547055]
  本稿では,一連の基本作業タスクによって提供される更新方向の階層固有の線形結合を学習する手法を提案する。 画像上で評価すると、これはAdamのような従来の既成の方法と既存の一般的な学習の両方で著しく優れています。
  論文  参考訳（メタデータ） (2024-08-17T23:55:19Z)
• Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
  嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。 本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。 以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T16:17:21Z)
• Improving Recommendation Fairness via Data Augmentation [66.4071365614835]
  協調フィルタリングに基づくレコメンデーションは、すべてのユーザの過去の行動データからユーザの好みを学習し、意思決定を容易にするために人気がある。 ユーザの敏感な属性に応じて異なるユーザグループに対して等しく機能しない場合には,レコメンダシステムは不公平であると考えられる。 本稿では,データ拡張の観点から,レコメンデーションフェアネスを改善する方法について検討する。
  論文  参考訳（メタデータ） (2023-02-13T13:11:46Z)
• Adaptive Optimization with Examplewise Gradients [23.504973357538418]
  本稿では,機械学習のための勾配に基づく最適化手法の設計に対して,より汎用的なアプローチを提案する。 この新しいフレームワークでは、イテレーションは単一の見積もりではなく、パラメータごとの見積もりのバッチへのアクセスを前提としています。 これは、典型的な機械学習のセットアップで実際に利用できる情報を反映している。
  論文  参考訳（メタデータ） (2021-11-30T23:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。