論文の概要: Tame Riemannian Stochastic Approximation

• arxiv url: http://arxiv.org/abs/2302.00709v5
• Date: Tue, 12 Aug 2025 10:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 14:32:15.758885
• Title: Tame Riemannian Stochastic Approximation
• Title（参考訳）: タイタ・リーマン確率近似
• Authors: Johannes Aspman, Vyacheslav Kungurtsev, Reza Roohi Seraji,
• Abstract要約: リーマン多様体で定義される制約に従属するテーム非微分可能函数に近似を適用する性質について検討する。 近年の研究では、このタイプの関数がディープニューラルネットワークトレーニング目標の損失景観を忠実にモデル化していることが示されている。
• 参考スコア（独自算出の注目度）: 2.8166046619628315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the properties of stochastic approximation applied to a tame nondifferentiable function subject to constraints defined by a Riemannian manifold. The objective landscape of tame functions, arising in o-minimal topology extended to a geometric category when generalized to manifolds, exhibits some structure that enables theoretical guarantees of expected function decrease and asymptotic convergence for generic stochastic sub-gradient descent. Recent work has shown that this class of functions faithfully model the loss landscape of deep neural network training objectives, and the autograd operation used in deep learning packages implements a variant of subgradient descent with the correct properties for convergence. Riemannian optimization uses geometric properties of a constraint set to perform a minimization procedure while enforcing adherence to the the optimization variable lying on a Riemannian manifold. This paper presents the first study of tame optimization on Riemannian manifolds, highlighting the rich geometric structure of the problem and confirming the appropriateness of the canonical "SGD" for such a problem with the analysis and numerical reports of a simple Retracted SGD algorithm.
• Abstract（参考訳）: リーマン多様体で定義される制約に従属するテーム非微分可能函数に適用される確率近似の特性について検討する。 テーム関数の目的的景観は、多様体に一般化されたとき、幾何学圏に拡張されたo-ミニマル位相から生じ、予想される関数の減少と漸近収束の理論的保証を可能にする構造を示す。 近年の研究では、このタイプの関数が深層ニューラルネットワークトレーニング目標の損失景観を忠実にモデル化していることが示されており、ディープラーニングパッケージで使用されるオートグレード操作は、収束の正しい性質を持つ下位降下の変種を実装している。 リーマン最適化は制約集合の幾何学的性質を用いて最小化手順を実行し、リーマン多様体上にある最適化変数への収束を強制する。 本稿では,リーマン多様体上のタム最適化に関する最初の研究を行い,この問題のリッチな幾何学的構造を強調し,そのような問題に対する標準的「SGD」の妥当性を確認し,単純なRetracted SGDアルゴリズムの解析と数値報告を行う。

関連論文リスト

• Gradient-free stochastic optimization for additive models [56.42455605591779]
  本稿では,Polyak-Lojasiewicz あるいは強凸条件を満たす目的関数に対する雑音観測によるゼロ次最適化の問題に対処する。 対象関数は加法的構造を持ち、H"古い関数族によって特徴づけられる高次滑らか性特性を満たすと仮定する。
  論文  参考訳（メタデータ） (2025-03-03T23:39:08Z)
• On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
  高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。 低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
  論文  参考訳（メタデータ） (2023-10-30T17:55:28Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
  マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。 合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。 縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
  論文  参考訳（メタデータ） (2022-11-09T13:32:23Z)
• Perturbation Analysis of Neural Collapse [24.94449183555951]
  分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。 最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。 本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-29T17:46:03Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Minimal Neural Atlas: Parameterizing Complex Surfaces with Minimal Charts and Distortion [71.52576837870166]
  我々は、新しいアトラスに基づく明示的なニューラルサーフェス表現であるミニマルニューラルアトラスを提案する。 その中核は完全学習可能なパラメトリック領域であり、パラメトリック空間の開平方上で定義された暗黙の確率的占有場によって与えられる。 我々の再構成は、トポロジーと幾何学に関する懸念の分離のため、全体的な幾何学の観点からより正確である。
  論文  参考訳（メタデータ） (2022-07-29T16:55:06Z)
• Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
  ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。 特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
  論文  参考訳（メタデータ） (2022-06-23T08:29:17Z)
• Towards Modeling and Resolving Singular Parameter Spaces using Stratifolds [18.60761407945024]
  学習力学において、特異点は学習軌道の引力として作用し、従ってモデルの収束速度に悪影響を及ぼす。 直交多様体を用いて特異点から生じる問題を回避するための一般的な手法を提案する。 経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T14:42:45Z)
• Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
  科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。 低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
  論文  参考訳（メタデータ） (2021-03-27T19:56:00Z)
• Learning Sub-Patterns in Piecewise Continuous Functions [4.18804572788063]
  ほとんどの勾配降下アルゴリズムは、パラメータでサブ微分可能なニューラルネットワークを最適化することができる。 本稿では,異なるサブパターンから不連続が生じる場合に焦点を当てる。 分離された2段階の手順でトレーニング可能な,不連続なディープニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-29T13:44:13Z)
• On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
  2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。 我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
  論文  参考訳（メタデータ） (2020-07-06T17:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。