論文の概要: Derivative-Free Structured Updates for Muon

• arxiv url: http://arxiv.org/abs/2609.17759v1
• Date: Tue, 15 Sep 2026 19:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.511157
• Title: Derivative-Free Structured Updates for Muon
• Title（参考訳）: Muon の派生自由構造更新
• Abstract要約: 我々は、構造化有限差分からミューオンスタイルの更新を構成する微分自由フレームワークを開発する。 行列回帰実験により、ランダムなランクワン探索が機能評価を大幅に削減できることが示された。 回帰とニューラルネットワークに関する制御されたノイズの緩やかな実験は、正確な関数値が信頼できない勾配のオラクルを補うことができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Muon updates matrix-valued neural-network parameters by orthogonalizing a gradient-based momentum matrix. Its reliance on derivatives limits its use when gradients are unavailable or unreliable. We develop a derivative-free framework that constructs Muon-style updates from structured finite differences. Four variants are considered: full entrywise recovery, random low-rank surrogates, basis-aligned rank-one probing, and direct structured search. Exhaustive basis-aligned probing is equivalent, up to positive scaling before ideal polar orthogonalization, to coordinate finite differences. Matrix-regression experiments show that random rank-one probing can reduce the number of function evaluations substantially, at the cost of less accurate updates. Controlled noisy-gradient experiments on regression and a neural network illustrate when accurate function values can compensate for an unreliable gradient oracle. A small CartPole study further examines orthogonal rank-one probes under a fixed episode budget. These results support structured probing as a practical option for selected black-box problems; they do not establish a general convergence guarantee or an advantage over accurate, inexpensive gradients.
• Abstract（参考訳）: 勾配型運動量行列の直交化による行列値ニューラルネットワークパラメータの更新 微分への依存は、勾配が利用できない、または信頼できない場合にその使用を制限する。 我々は、構造化有限差分からミューオンスタイルの更新を構成する微分自由フレームワークを開発する。 完全なエントリーワイドリカバリ、ランダムな低ランクサロゲート、基底整列ランク1探索、直接構造化探索の4つの変種が検討されている。 排他的基底整列探索は、有限差分をコーディネートするために理想的な極直交化の前に正のスケーリングまで等価である。 行列回帰実験により、ランダムランクワン探索は、精度の低い更新コストで、関数評価を著しく削減できることが示された。 回帰とニューラルネットワークに関する制御されたノイズの緩やかな実験は、正確な関数値が信頼できない勾配のオラクルを補うことができることを示す。 小さなCartPole研究では、固定エピソード予算の下で直交ランク1プローブをさらに調べている。 これらの結果は、選択されたブラックボックス問題に対する実用的な選択肢として構造化探索をサポートし、一般的な収束保証や、高精度で安価な勾配に対する優位性を確立していない。

関連論文リスト

• When do spectral gradient updates help in deep learning? [7.5757345574662205]
  本稿では,スペクトル更新によってユークリッド勾配よりも損失の減少が大きくなることを予測できる簡単な条件を提案する。 我々はこれらの予測を合成回帰実験やナノGPTスケール言語モデルトレーニングで検証する。
  論文  参考訳（メタデータ） (2025-12-03T22:22:09Z)
• Beyond Softmax: A Natural Parameterization for Categorical Random Variables [61.709831225296305]
  階層的なバイナリ分割のシーケンスで構成される関数である$textitcatnat$関数を紹介します。 実験により,提案した関数は学習効率を向上し,一貫した試験性能を特徴とするモデルが得られることを示した。
  論文  参考訳（メタデータ） (2025-09-29T12:55:50Z)
• AdaGrad Meets Muon: Adaptive Stepsizes for Orthogonal Updates [5.049533819651459]
  我々は、標準ベースの更新とaGradタイプのステップを組み合わせた新しい適応型更新AdaGOを提案する。 AdaGOは更新の直交性を保持しており、これはスペクトル降下と解釈できる。
  論文  参考訳（メタデータ） (2025-09-03T03:42:22Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• More is Less: Inducing Sparsity via Overparameterization [1.9350867959464846]
  ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。 驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。 我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
  論文  参考訳（メタデータ） (2021-12-21T07:55:55Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。