論文の概要: AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning

• arxiv url: http://arxiv.org/abs/2604.09437v1
• Date: Fri, 10 Apr 2026 15:53:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.946067
• Title: AdaCubic: An Adaptive Cubic Regularization Optimizer for Deep Learning
• Title（参考訳）: AdaCubic: ディープラーニングのための適応型立方体正規化最適化
• Authors: Ioannis Tsingalis, Constantine Kotropoulos, Corentin Briat,
• Abstract要約: 立方体項の重みを適応させる新しい正規化手法であるAdaCubicを提案する。 AdaCubicは立方体制約を伴う補助最適化問題であり、立方体項の重みを動的に調整する。 私たちの知る限り、AdaCubicはスケーラブルなディープラーニングアプリケーションで3次正規化を利用する最初の企業です。
• 参考スコア（独自算出の注目度）: 3.1606417667125917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A novel regularization technique, AdaCubic, is proposed that adapts the weight of the cubic term. The heart of AdaCubic is an auxiliary optimization problem with cubic constraints that dynamically adjusts the weight of the cubic term in Newton's cubic regularized method. We use Hutchinson's method to approximate the Hessian matrix, thereby reducing computational cost. We demonstrate that AdaCubic inherits the cubically regularized Newton method's local convergence guarantees. Our experiments in Computer Vision, Natural Language Processing, and Signal Processing tasks demonstrate that AdaCubic outperforms or competes with several widely used optimizers. Unlike other adaptive algorithms that require hyperparameter fine-tuning, AdaCubic is evaluated with a fixed set of hyperparameters, rendering it a highly attractive optimizer in settings where fine-tuning is infeasible. This makes AdaCubic an attractive option for researchers and practitioners alike. To our knowledge, AdaCubic is the first optimizer to leverage cubic regularization in scalable deep learning applications.
• Abstract（参考訳）: 立方体項の重みを適応させる新しい正規化手法であるAdaCubicを提案する。 AdaCubicの心臓は立方体制約を伴う補助最適化問題であり、ニュートンの立方体正規化法における立方体項の重みを動的に調整する。 我々はハッチンソン法を用いてヘッセン行列を近似し、計算コストを削減した。 我々は、AdaCubicが3次正規化ニュートン法の局所収束保証を継承していることを示す。 コンピュータビジョン、自然言語処理、信号処理タスクにおける我々の実験は、AdaCubicが広く使われているオプティマイザよりも優れているか、競争していることを示している。 ハイパーパラメータ細調整を必要とする他の適応アルゴリズムとは異なり、AdaCubicは固定されたハイパーパラメータセットで評価され、微調整が不可能な設定において非常に魅力的なオプティマイザとなる。 これにより、AdaCubicは研究者や実践者にとって魅力的な選択肢となる。 私たちの知る限り、AdaCubicはスケーラブルなディープラーニングアプリケーションで立方体正規化を利用する最初のオプティマイザです。

関連論文リスト

• Diff3R: Feed-forward 3D Gaussian Splatting with Uncertainty-aware Differentiable Optimization [76.38917994186733]
  Diff3Rはフィードフォワード予測とテストタイム最適化をブリッジする新しいフレームワークである。 フィードフォワード3DGSアーキテクチャにシームレスに統合でき、ポーズギヴン法とポーズフリー法の両方に対応できることを示す。
  論文  参考訳（メタデータ） (2026-04-01T15:40:20Z)
• Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions [0.0]
  本稿では,2階適応正規化のランダムな部分空間変種を提案し,解析する。 我々の手法は探索空間をパラメータのランダムな部分空間に反復的に制限し、この部分空間内でのみ局所モデルを構築し、最小化する。
  論文  参考訳（メタデータ） (2025-01-16T18:37:59Z)
• Cubic regularized subspace Newton for non-convex optimization [3.481985817302898]
  我々は、ランダムな部分空間に定常正規化を適用すると解釈できる座標二階SSCNを解析する。 従来の一階法と比較して,大幅な高速化を示した。
  論文  参考訳（メタデータ） (2024-06-24T14:20:02Z)
• Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate [83.3933097134767]
  次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。 提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
  論文  参考訳（メタデータ） (2024-01-05T20:24:18Z)
• Series of Hessian-Vector Products for Tractable Saddle-Free Newton Optimisation of Neural Networks [1.3654846342364308]
  絶対値固有値を持つ正逆 Hessian を,一階乗算可能な最適化アルゴリズムで効率的に利用できることを示す。 この級数のt-runは、他の1階と2階の最適化手法に匹敵する新しい最適化を提供する。
  論文  参考訳（メタデータ） (2023-10-23T13:11:30Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization [0.38233569758620045]
  本稿では,大規模非制約最適化のための3乗法 (ARC) を用いた適応正規化について述べる。 我々の新しいアプローチであるARCLQNは、最小限のチューニングを伴うモダンと比較される。
  論文  参考訳（メタデータ） (2022-04-19T20:25:29Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。