論文の概要: Optimizing Large Language Models with Chained LMOs

• arxiv url: http://arxiv.org/abs/2610.10975v1
• Date: Wed, 07 Oct 2026 22:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.694676
• Title: Optimizing Large Language Models with Chained LMOs
• Title（参考訳）: 連鎖LMOを用いた大規模言語モデルの最適化
• Abstract要約: 実験的に、異なる層に重みを積み重ね、その軸に3次元テンソルを正規化する新しい組込み法を提案する。 Q3Bと1.7Bの事前トレーニングでは、Chainは平均トークン効率ですべてのチェーンベースラインを上回り、平均トークンセーブは一致した検証損失でMuonよりも9.6%高い。
• 参考スコア（独自算出の注目度）: 12.27907229866181
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Muon has motivated a growing family of optimizers that compose multiple matrix normalizations, but these methods remain fragmented and lack a unified perspective. We introduce chained linear minimization oracles (chained LMOs), which cast these methods as compositions of LMOs. Despite their empirical success, many chains fall outside the standard LMO framework and can diverge on smooth convex objectives. To explain why composition can nevertheless help, we turn to linear associative memory and show that chaining can improve over Muon under anisotropic embeddings. Empirically, we propose TensorChain, a novel optimizer within the framework that stacks compatible weight matrices across different layers and normalizes the 3d tensor across its axes. In Qwen3 0.6B and 1.7B pretraining, TensorChain outperforms all chained baselines in average token efficiency, with average token savings of 9.6% over Muon at matched validation loss.
• Abstract（参考訳）: Muon は、複数の行列正規化を構成する最適化の族を成長させてきたが、これらの手法は断片化され、統一された視点が欠如している。 鎖状線形最小化オークル (鎖状LMO) を導入し, これらの手法をLMOの組成として用いた。 実証的な成功にもかかわらず、多くのチェーンは標準のLMOフレームワークの外に落ち、滑らかな凸の目的に対して分岐することができる。 それにもかかわらず、なぜ構成が役立つのかを説明するために、線形連想メモリに目を向け、異方性埋め込み下でのムオン上の連鎖が改善可能であることを示す。 実験的に、異なる層に互換性のある重み行列を積み重ね、その軸に3dテンソルを正規化する、フレームワーク内の新しいオプティマイザであるTensorChainを提案する。 Qwen3 0.6Bと1.7Bの事前トレーニングでは、TensorChainは平均トークン効率で全てのチェーンベースラインを上回り、一致した検証損失で平均トークンセーブは9.6%である。

関連論文リスト

• Tensorion: A Tensor-Aware Generalization of the Muon Optimizer [38.75730408705132]
  近年の研究では、行列構造の利用により力学が向上することが示されている。 顕著な例は、スペクトルノルム制約の下で最も急降下を行うムオンである。 次のステップと導入は、Muonの制約された最適化の観点を拡張するテンソル認識である。
  論文  参考訳（メタデータ） (2026-06-24T15:46:04Z)
• More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations [16.610720814187754]
  本稿では,軽量な入力依存ゲートを用いて,アクティベーション関数の辞書を混合したトークン適応型FFN設計を提案する。 MoAは一貫して端末の損失を減らし、よく調整されたベースラインよりも優れたスケーリング動作を示す。 これらの結果から,トークン適応型アクティベーションミキシングは,大規模言語モデルにおいてFFN表現性を向上させるためのシンプルかつ効果的なメカニズムであることが示唆された。
  論文  参考訳（メタデータ） (2026-05-26T07:30:53Z)
• AMO: Adaptive Muon Orthogonalization [28.545002803615606]
  行列幾何学により行列毎の不均一性が広範に決定されることを示す。 そこで本研究では,演算子型による重み幾何計測を早期に行う観測-理論-コミット法であるAdaptive Muon Orthogonalization (AMO)を提案する。 AMOは、標準、長期、連続的な事前トレーニングにまたがって、一様スケジュールのMuonよりも一貫した改善を提供する。
  論文  参考訳（メタデータ） (2026-05-18T03:29:18Z)
• Muown: Row-Norm Control for Muon Optimization [41.541871767555484]
  Muonは、言語モデルの事前トレーニングにおいてAdamWと強く競合する。 Muownは、Muon、SOAP、AdamW、Lionの複雑さを改善します。
  論文  参考訳（メタデータ） (2026-05-11T16:26:06Z)
• Optimizer-Induced Mode Connectivity: From AdamW to Muon [50.258866851760416]
  我々は、Lion-$mathcalK$ファミリー内の1つのAdamW、Muon、その他からの解が、十分に大きな幅で連結集合を形成することを示す。 広帯域では2つの異なる領域が正則化に応じて解離または重なり合うことができる。
  論文  参考訳（メタデータ） (2026-05-11T05:07:36Z)
• Pareto-Optimal Offline Reinforcement Learning via Smooth Tchebysheff Scalarization [2.5513673603819886]
  大規模な言語モデルは、小さなラベル付きデータセット上のオフライン強化学習(RL)を通じて、人間の好みに合わせることができる。 我々はこの手法を用いてSTOMP(Smooth Tchebysheff of Multi-Objective Preferences)を導出する。 STOMPは,9つの設定のうち8つの設定において,非政治的および生成的評価の両面から最も高い超対象を達成している。
  論文  参考訳（メタデータ） (2026-04-14T18:00:39Z)
• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Error Feedback for Muon and Friends [80.90330715662961]
  我々は、厳密な収束保証を備えた最初の通信効率非ユークリッドLMOであるEF21-Muonを紹介する。 我々の理論は、非ユークリッドの滑らかさとより一般的な$(L0, L1)$-smooth設定をカバーし、最もよく知られたユークリッドの速度と一致し、適切なノルム選択の下でより高速な収束を可能にする。
  論文  参考訳（メタデータ） (2025-10-01T08:20:08Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。