論文の概要: Blockwise Stabilized Adaptive Cubic Regularization with Subsolvers via Recurrence

• arxiv url: http://arxiv.org/abs/2608.22129v2
• Date: Tue, 25 Aug 2026 14:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.039464
• Title: Blockwise Stabilized Adaptive Cubic Regularization with Subsolvers via Recurrence
• Title（参考訳）: 再帰によるサブソルバによるブロックワイズ安定化適応立方体正則化
• Abstract要約: 実ブロック Hessian 上のパラメータテンソルあたりの独立立方体モデルを最小化するブロックワイズを導入する。 ステップが立方体モデルを最小限にすることを示す。 この外部スキームの4つの変種は、元の適応正則化に対して評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cubic regularized Newton methods have the optimal $\mathcal{O}(ε^{-3/2})$ global rate, but a dense subproblem solve limits the feasible block size. Scalable Cubic Newton variants replace the true block curvature with a diagonal, low-rank, Kronecker-factored, or sketched surrogate and, most often, give up the exact cubic step. We introduce a blockwise optimizer that minimizes an independent cubic model per parameter tensor over the true block Hessian, under a per-block adaptive cubic constant and a monotone guard on the full loss. Arbitrarily large tensors are handled matrix-free in a Lanczos-built Krylov subspace, where we prove that the step minimizes the cubic model. The theory also supplies the $\mathcal{O}(ε^{-3/2})$ iteration complexity bound, a second-order guarantee, and monotone per-block descent. Four variants of this outer scheme are evaluated against the original adaptive regularization with cubics (ARC) optimizer, some other recent cubic Newton variants, Adam, SOAP, and L-BFGS. On a 91.4M-parameter implicit neural representation (INR), the variants introduced in this work are the only evaluated here cubic Newton methods whose steps stay exact on every block. Run to full convergence on FINER 2D image fitting, one of the ARC variants introduced here, ARC-$\varphi_1$, reaches 133.5 dB peak signal-to-noise ratio, while tuned Adam plateaus at 78.2 dB after about 70 minutes. In that time ARC-$\varphi_1$ reaches 95.6 dB.
• Abstract（参考訳）: キュービック正規化ニュートン法は最適な$\mathcal{O}(ε^{-3/2})$大域レートを持つが、密度の低いサブプロブレムではブロックサイズが制限される。 スケーラブルキュービックニュートン変種は、真のブロック曲率を、対角線、低ランク、クロネッカー製、スケッチされたサロゲートに置き換え、多くの場合、正確な立方体ステップを放棄する。 実ブロックヘシアン上のパラメータテンソルあたりの独立立方体モデルを最小限に抑えるブロックワイズオプティマイザを導入する。 任意に大きいテンソルはランツォス製のクリロフ部分空間において行列フリーに扱われ、そこではステップが立方体モデルを最小化することを証明している。 この理論は、$\mathcal{O}(ε^{-3/2})$ iteration complexity bound, a second-order guarantee, and monotone per-block descent も提供する。 この外部スキームの4つの変種は、元の適応正則化に対して、立方体最適化器(ARC)、最近のニュートン変種(Adam、SOAP、L-BFGS)で評価される。 91.4Mの暗黙的ニューラル表現(INR)では、この研究で導入された変種は、全てのブロックでステップが正確に保たれている唯一の立方体ニュートン法である。 ARC-$\varphi_1$のARC-$\varphi_1$は、ピーク信号とノイズの比が133.5dBに達し、アダム高原は約70分後に78.2dBに調整された。 このときARC-$\varphi_1$は95.6dBに達する。

関連論文リスト

• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Efficient Multinomial Logistic Bandit via Frequent Directions [36.600560776380874]
  代表的な UCB 型アルゴリズムである OFUL-MLogB は $tildemathcalO(KdsqrtT)$ の残差を達成しているが、それでも $mathcalO(K3d3)$ と $mathcalO(K2d2)$ の時間を必要とする。 我々は、OFD-MLogBに頻繁に描画される方向行列を組み込んだEOFD-MLogBを提案する。
  論文  参考訳（メタデータ） (2026-06-10T11:47:27Z)
• Minimax Optimal Variance-Aware Regret Bounds for Multinomial Logistic MDPs [56.28491566735463]
  既存のマルコフ決定過程のアルゴリズムは、$smashtildeO(dH2sqrtT)$を後悔する。 本稿では,最悪の場合において既存の境界を復元し,構造化されたMDPに対して改善する,$smashtildeO(dH2bar_TsqrtT)$の後悔を実現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:39:32Z)
• Martingale Neural Operators: Learning Stochastic Marginals via Doob-Meyer Factorization [0.0]
  ドゥーブ=マイヤーの定理は、任意の半マーチンゲールが基本的に予測可能なドリフトと予測不可能なゼロ平均マーチンゲールに分解されることを証明している。 本稿では,初期条件を端末法則の条件平均と共分散に直接マッピングするMartingale Neural Operator(MNO)を紹介する。 MNOはワッサースタイン距離を4ドルフィールド理論で最大120ドル、バーガーズで680ドルまで削減し、壁面のトレーニング予算で一致した条件付き拡散ベースラインよりも早くsim 3timesを評価した。
  論文  参考訳（メタデータ） (2026-05-15T10:00:21Z)
• Stochastic global optimization of continuous functions via random walks on Grassmannians [19.659410865201384]
  グラスマン多様体上のランダムウォークに基づく大域的最適化手法を提案する。 この方法は、ランダムな$k$次元の線形部分空間を繰り返しサンプリングする。 我々は、反復が世界最小値に近づく速度を制御するギャップパラメータを同定する。
  論文  参考訳（メタデータ） (2026-05-13T22:06:50Z)
• Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle [51.714334316332476]
  Local Lは制約付き最適化のための新しいプロジェクションフリー型である。 局所LMOはGD(Gradient Descent)のオラクルと見なされる。
  論文  参考訳（メタデータ） (2026-05-09T10:03:24Z)
• Sequential Minimal Optimization for $\varepsilon$-SVR with MAPE Loss and Sample-Dependent Box Constraints [0.0]
  我々は、$varepsilon$-SVRciteVapnik 1995, Drucker 1997, Smola2004から生じる二次双対問題に対して、MAPE(Mean Absolute Percentage Error)を最小化するために、逐次最小最適化(SMO)アルゴリズムを導出した。 実装はオープンソースの textttpsvr R packageciteBenavidesHerrera2026Rpsvr で利用可能である。
  論文  参考訳（メタデータ） (2026-05-02T13:51:46Z)
• AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning [3.1606417667125917]
  立方体項の重みを適応させる新しい正規化手法であるAdaCubicを提案する。 AdaCubicは立方体制約を伴う補助最適化問題であり、立方体項の重みを動的に調整する。 私たちの知る限り、AdaCubicはスケーラブルなディープラーニングアプリケーションで3次正規化を利用する最初の企業です。
  論文  参考訳（メタデータ） (2026-04-10T15:53:16Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold [16.099883128428054]
  直交方向制約法(ODCGM)という新しいアルゴリズムを提案する。 ODCGMはベクトル空間へのプロジェクションのみを必要とする。 以上より, ODCGMは, ほぼ最適のオラクル複合体を呈することを示した。
  論文  参考訳（メタデータ） (2023-03-16T12:25:53Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization [8.386501595252]
  BMM(Block Majorization-minimativeization)は、制約付き非負のサロゲートに対する単純な反復アルゴリズムである。 BMMは,様々なアルゴリズムに対して,新しい一階最適度尺度を生成する。 また, BMM の収束率を向上させるために, 減衰半径の付加的利用が有効であることを示す。
  論文  参考訳（メタデータ） (2020-12-07T07:53:09Z)
• Stochastic Subspace Cubic Newton Method [14.624340432672172]
  本稿では,高次元凸関数$f$を最小化するランダム化二階最適化アルゴリズムを提案する。 ミニバッチサイズが変化するにつれて、SSCNのグローバル収束速度は座標降下速度(CD)と立方正規化ニュートン速度とを補間することを示した。 注目すべきことに、SSCN の局所収束速度は、次数関数 $frac12 (x-x*)top nabla2f(x*)(x-x*)$ の最小化問題に適用される部分空間降下率と一致する。
  論文  参考訳（メタデータ） (2020-02-21T19:42:18Z)
• Naive Exploration is Optimal for Online LQR [49.681825576239355]
  最適後悔尺度は$widetildeTheta(sqrtd_mathbfu2 d_mathbfx T)$で、$T$は時間ステップの数、$d_mathbfu$は入力空間の次元、$d_mathbfx$はシステム状態の次元である。 我々の下界は、かつての$mathrmpoly(logT)$-regretアルゴリズムの可能性を排除する。
  論文  参考訳（メタデータ） (2020-01-27T03:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。