論文の概要: Blockwise Stabilized Adaptive Cubic Regularization with Subsolvers via Recurrence

• arxiv url: http://arxiv.org/abs/2608.22129v1
• Date: Sat, 22 Aug 2026 23:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.948382
• Title: Blockwise Stabilized Adaptive Cubic Regularization with Subsolvers via Recurrence
• Title（参考訳）: 再帰によるサブソルバによるブロックワイズ安定化適応立方体正則化
• Abstract要約: 本稿では$mathcalO(varepsilon-3/2)$ subproblemを解くブロックワイズ方式を提案する。 小ブロックはブロックごとのヘシアンを明示的に形成した遅延正確な立方体ステップを使用する。 実験により、ブロックワイズ方式はブロックごとの降下保証をカバーすることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cubic-regularized Newton methods have the optimal $\mathcal{O}(\varepsilon^{-3/2})$ global rate and an automatic saddle-escape mechanism, but their subproblem is most often solved by a full eigendecomposition, limiting feasible model size. We introduce a blockwise optimizer that partitions parameters by tensor, minimizes an independent cubic model with an adaptive cubic constant $M_b$ per block, and accepts or rejects each block step against a monotone guard on the full loss. The subproblem solver is chosen by block size: small blocks use lazy exact cubic steps from explicitly formed per-block Hessians; arbitrarily large tensors use a matrix-free Chebyshev-bounded Krylov subspace built by the Lanczos process. The cubic shift bounds the required polynomial degree whenever the gradient-driven shift dominates negative curvature, renders the shifted operator positive semidefinite before any polynomial is applied, and preserves the $\mathcal{O}(\varepsilon^{-3/2})$ rate under inexact subproblem solves. We prove these claims, and the blockwise scheme carries a monotone per-block descent guarantee. Experiments cover FINER INRs (about 199k parameters) and a 91.4M-parameter ViSIR INR, where the blockwise cubic step remains exact in the cubic-model sense on every block, including the 88.5M-parameter decoder tensor (97\% of the model). Run to full convergence on FINER, the ARC-$\varphi_1$ optimizer reaches 133.5 dB PSNR while tuned Adam plateaus at 78.2 dB at the same extended budget; in the roughly 70 minutes Adam takes to reach its peak, ARC-$\varphi_1$ reaches 95.6 dB. A companion report isolates the loss-landscape features responsible for Adam's behavior.
• Abstract（参考訳）: 立方体正規化ニュートン法は、最適な$\mathcal{O}(\varepsilon^{-3/2})$大域レートと自動サドルエスケープ機構を持つが、それらのサブプロブレムは、しばしば完全な固有分解によって解かれる。 パラメータをテンソルで分割するブロックワイズオプティマイザを導入し、適応的な立方体定数$M_b$の独立立方体モデルを最小化し、全損失に対して各ブロックステップを受け入れたり拒否する。 サブプロブレムソルバはブロックサイズによって選択される: 小さいブロックはブロックごとのヘッセンの明示的な形成から遅延正確な立方体ステップを使用する; 任意に大きいテンソルはランツォス過程によって構築された行列のないチェビシェフ有界クリロフ部分空間を使用する。 立方体シフトは、勾配駆動のシフトが負の曲率を支配するたびに必要多項式次数に束縛され、任意の多項式が適用される前にシフト作用素の正の半定値を描画し、不正確な部分プロブレム解の下で$\mathcal{O}(\varepsilon^{-3/2})$レートを保存する。 これらの主張を証明し、ブロックワイズ方式はブロックごとの降下保証を単調に行う。 実験では、FINER INR(約199kパラメータ)と91.4MパラメータのViSIR INRをカバーし、88.5Mパラメータデコーダテンソル(モデルの97.%)を含む各ブロックの立方体感覚でブロック回りの立方体ステップが正確に残っている。 FINER上でフル収束し、ARC-$\varphi_1$オプティマイザは133.5dB PSNRに達し、同じ予算でアダム高原を78.2dBに調整し、約70分でARC-$\varphi_1$は95.6dBに達する。 副次的な報告書では、アダムの行動に責任がある失われた景観の特徴を分離している。

関連論文リスト

• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Efficient Multinomial Logistic Bandit via Frequent Directions [36.600560776380874]
  代表的な UCB 型アルゴリズムである OFUL-MLogB は $tildemathcalO(KdsqrtT)$ の残差を達成しているが、それでも $mathcalO(K3d3)$ と $mathcalO(K2d2)$ の時間を必要とする。 我々は、OFD-MLogBに頻繁に描画される方向行列を組み込んだEOFD-MLogBを提案する。
  論文  参考訳（メタデータ） (2026-06-10T11:47:27Z)
• Minimax Optimal Variance-Aware Regret Bounds for Multinomial Logistic MDPs [56.28491566735463]
  既存のマルコフ決定過程のアルゴリズムは、$smashtildeO(dH2sqrtT)$を後悔する。 本稿では,最悪の場合において既存の境界を復元し,構造化されたMDPに対して改善する,$smashtildeO(dH2bar_TsqrtT)$の後悔を実現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:39:32Z)
• Martingale Neural Operators: Learning Stochastic Marginals via Doob-Meyer Factorization [0.0]
  ドゥーブ=マイヤーの定理は、任意の半マーチンゲールが基本的に予測可能なドリフトと予測不可能なゼロ平均マーチンゲールに分解されることを証明している。 本稿では,初期条件を端末法則の条件平均と共分散に直接マッピングするMartingale Neural Operator(MNO)を紹介する。 MNOはワッサースタイン距離を4ドルフィールド理論で最大120ドル、バーガーズで680ドルまで削減し、壁面のトレーニング予算で一致した条件付き拡散ベースラインよりも早くsim 3timesを評価した。
  論文  参考訳（メタデータ） (2026-05-15T10:00:21Z)
• Stochastic global optimization of continuous functions via random walks on Grassmannians [19.659410865201384]
  グラスマン多様体上のランダムウォークに基づく大域的最適化手法を提案する。 この方法は、ランダムな$k$次元の線形部分空間を繰り返しサンプリングする。 我々は、反復が世界最小値に近づく速度を制御するギャップパラメータを同定する。
  論文  参考訳（メタデータ） (2026-05-13T22:06:50Z)
• Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle [51.714334316332476]
  Local Lは制約付き最適化のための新しいプロジェクションフリー型である。 局所LMOはGD(Gradient Descent)のオラクルと見なされる。
  論文  参考訳（メタデータ） (2026-05-09T10:03:24Z)
• Sequential Minimal Optimization for $\varepsilon$-SVR with MAPE Loss and Sample-Dependent Box Constraints [0.0]
  我々は、$varepsilon$-SVRciteVapnik 1995, Drucker 1997, Smola2004から生じる二次双対問題に対して、MAPE(Mean Absolute Percentage Error)を最小化するために、逐次最小最適化(SMO)アルゴリズムを導出した。 実装はオープンソースの textttpsvr R packageciteBenavidesHerrera2026Rpsvr で利用可能である。
  論文  参考訳（メタデータ） (2026-05-02T13:51:46Z)
• AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning [3.1606417667125917]
  立方体項の重みを適応させる新しい正規化手法であるAdaCubicを提案する。 AdaCubicは立方体制約を伴う補助最適化問題であり、立方体項の重みを動的に調整する。 私たちの知る限り、AdaCubicはスケーラブルなディープラーニングアプリケーションで3次正規化を利用する最初の企業です。
  論文  参考訳（メタデータ） (2026-04-10T15:53:16Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• Orthogonal Directions Constrained Gradient Method: from non-linear equality constraints to Stiefel manifold [16.099883128428054]
  直交方向制約法(ODCGM)という新しいアルゴリズムを提案する。 ODCGMはベクトル空間へのプロジェクションのみを必要とする。 以上より, ODCGMは, ほぼ最適のオラクル複合体を呈することを示した。
  論文  参考訳（メタデータ） (2023-03-16T12:25:53Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization [8.386501595252]
  BMM(Block Majorization-minimativeization)は、制約付き非負のサロゲートに対する単純な反復アルゴリズムである。 BMMは,様々なアルゴリズムに対して,新しい一階最適度尺度を生成する。 また, BMM の収束率を向上させるために, 減衰半径の付加的利用が有効であることを示す。
  論文  参考訳（メタデータ） (2020-12-07T07:53:09Z)
• Stochastic Subspace Cubic Newton Method [14.624340432672172]
  本稿では,高次元凸関数$f$を最小化するランダム化二階最適化アルゴリズムを提案する。 ミニバッチサイズが変化するにつれて、SSCNのグローバル収束速度は座標降下速度(CD)と立方正規化ニュートン速度とを補間することを示した。 注目すべきことに、SSCN の局所収束速度は、次数関数 $frac12 (x-x*)top nabla2f(x*)(x-x*)$ の最小化問題に適用される部分空間降下率と一致する。
  論文  参考訳（メタデータ） (2020-02-21T19:42:18Z)
• Naive Exploration is Optimal for Online LQR [49.681825576239355]
  最適後悔尺度は$widetildeTheta(sqrtd_mathbfu2 d_mathbfx T)$で、$T$は時間ステップの数、$d_mathbfu$は入力空間の次元、$d_mathbfx$はシステム状態の次元である。 我々の下界は、かつての$mathrmpoly(logT)$-regretアルゴリズムの可能性を排除する。
  論文  参考訳（メタデータ） (2020-01-27T03:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。