Fugu-MT 論文翻訳(概要): Riemannian Stochastic Approximation for Minimizing Tame Nonsmooth Objective Functions

論文の概要: Riemannian Stochastic Approximation for Minimizing Tame Nonsmooth Objective Functions

arxiv url: http://arxiv.org/abs/2302.00709v1
Date: Wed, 1 Feb 2023 19:03:00 GMT
ステータス: 処理完了
システム内更新日: 2023-02-03 16:26:01.611704
Title: Riemannian Stochastic Approximation for Minimizing Tame Nonsmooth Objective Functions
Title（参考訳）: 可逆目的関数の最小化のためのリーマン確率近似
Authors: Johannes Aspmann, Vyacheslav Kungurtsev, Reza Roohi Seraji
Abstract要約: 本研究では, 多様体上の成層関数の性質と退化降下, 勾配, 段数減少の挙動について検討し, それらの関数を最小化する。本稿では、多様体上のそのような成層関数の性質と、その関数を最小化するために、段差を小さくした引き算降下、勾配の挙動について検討する。
参考スコア（独自算出の注目度）: 3.4483987421251516
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In many learning applications, the parameters in a model are structurally constrained in a way that can be modeled as them lying on a Riemannian manifold. Riemannian optimization, wherein procedures to enforce an iterative minimizing sequence to be constrained to the manifold, is used to train such models. At the same time, tame geometry has become a significant topological description of nonsmooth functions that appear in the landscapes of training neural networks and other important models with structural compositions of continuous nonlinear functions with nonsmooth maps. In this paper, we study the properties of such stratifiable functions on a manifold and the behavior of retracted stochastic gradient descent, with diminishing stepsizes, for minimizing such functions.
Abstract（参考訳）: 多くの学習応用において、モデルのパラメータは、リーマン多様体上に横たわっているようにモデル化できる方法で構造的に制約される。リーマン最適化は、多様体に制約される反復最小化列を強制する手順で、そのようなモデルを訓練するために用いられる。同時に、タメ幾何は、トレーニングニューラルネットワークやその他の非滑らか写像を持つ連続非線形関数の構造的構成を持つ重要なモデルの風景に現れる非滑らか関数の重要なトポロジ的記述となっている。本稿では、多様体上のそのような成層関数の性質と、その関数を最小化するために、段差を小さくした引き算確率勾配降下の挙動について検討する。

関連論文リスト

On Learning Gaussian Multi-index Models with Gradient Flow [57.170617397894404]
高次元ガウスデータに対する多次元回帰問題の勾配流について検討する。低階射影をパラメトリする部分空間よりも、非パラメトリックモデルで低次元リンク関数を無限に高速に学習する2時間スケールのアルゴリズムを考える。
論文参考訳（メタデータ） (2023-10-30T17:55:28Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
A Unified Analysis of Multi-task Functional Linear Regression Models with Manifold Constraint and Composite Quadratic Penalty [0.0]
マルチタスク学習のパワーは、傾斜関数に付加的な構造を課すことによってもたらされる。合成ペナルティは、多様体曲率の定量化に役立つ特定のノルムを誘導することを示す。縮小ランクモデルとグラフラプラシア正規化モデルに統一収束上限を求め、特に適用する。
論文参考訳（メタデータ） (2022-11-09T13:32:23Z)
Perturbation Analysis of Neural Collapse [24.94449183555951]
分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
論文参考訳（メタデータ） (2022-10-29T17:46:03Z)
Learning Globally Smooth Functions on Manifolds [94.22412028413102]
スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
論文参考訳（メタデータ） (2022-10-01T15:45:35Z)
Minimal Neural Atlas: Parameterizing Complex Surfaces with Minimal Charts and Distortion [71.52576837870166]
我々は、新しいアトラスに基づく明示的なニューラルサーフェス表現であるミニマルニューラルアトラスを提案する。その中核は完全学習可能なパラメトリック領域であり、パラメトリック空間の開平方上で定義された暗黙の確率的占有場によって与えられる。我々の再構成は、トポロジーと幾何学に関する懸念の分離のため、全体的な幾何学の観点からより正確である。
論文参考訳（メタデータ） (2022-07-29T16:55:06Z)
Stochastic Langevin Differential Inclusions with Applications to Machine Learning [5.274477003588407]
ランゲヴィン型微分包含物の流動と性質に関する基礎的な結果を示す。特に、解の存在が強く、また自由エネルギー関数の正準最小化が示される。
論文参考訳（メタデータ） (2022-06-23T08:29:17Z)
Towards Modeling and Resolving Singular Parameter Spaces using Stratifolds [18.60761407945024]
学習力学において、特異点は学習軌道の引力として作用し、従ってモデルの収束速度に悪影響を及ぼす。直交多様体を用いて特異点から生じる問題を回避するための一般的な手法を提案する。経験的に、特異空間の代わりに滑らかな多様体近似に(自然な)勾配勾配を用いることで、魅力の振舞いを回避でき、学習における収束速度を向上できることを示す。
論文参考訳（メタデータ） (2021-12-07T14:42:45Z)
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds [71.94111815357064]
科学計算および機械学習アプリケーションでは、行列およびより一般的な多次元配列(テンソル)は、しばしば低ランク分解の助けを借りて近似することができる。低ランク近似を見つけるための一般的なツールの1つはリーマン最適化を使うことである。
論文参考訳（メタデータ） (2021-03-27T19:56:00Z)
Learning Sub-Patterns in Piecewise Continuous Functions [4.18804572788063]
ほとんどの勾配降下アルゴリズムは、パラメータでサブ微分可能なニューラルネットワークを最適化することができる。本稿では,異なるサブパターンから不連続が生じる場合に焦点を当てる。分離された2段階の手順でトレーニング可能な,不連続なディープニューラルネットワークモデルを提案する。
論文参考訳（メタデータ） (2020-10-29T13:44:13Z)
On the minmax regret for statistical manifolds: the role of curvature [68.8204255655161]
2つの部分のコードと最小記述長は、最高のモデルを選別するための手順を提供するのに成功している。我々は、フィッシャー情報計量のスカラー曲率が支配的な役割を果たす複雑さによって与えられる標準表現よりも、よりシャープな表現を導出する。
論文参考訳（メタデータ） (2020-07-06T17:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。