論文の概要: Learning Globally Smooth Functions on Manifolds

• arxiv url: http://arxiv.org/abs/2210.00301v1
• Date: Sat, 1 Oct 2022 15:45:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 17:55:45.476021
• Title: Learning Globally Smooth Functions on Manifolds
• Title（参考訳）: 多様体上のグローバルな平滑関数の学習
• Authors: Juan Cervino, Luiz Chamon, Benjamin D. Haeffele, Rene Vidal, and Alejandro Ribeiro
• Abstract要約: スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
• 参考スコア（独自算出の注目度）: 94.22412028413102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Smoothness and low dimensional structures play central roles in improving generalization and stability in learning and statistics. The combination of these properties has led to many advances in semi-supervised learning, generative modeling, and control of dynamical systems. However, learning smooth functions is generally challenging, except in simple cases such as learning linear or kernel models. Typical methods are either too conservative, relying on crude upper bounds such as spectral normalization, too lax, penalizing smoothness on average, or too computationally intensive, requiring the solution of large-scale semi-definite programs. These issues are only exacerbated when trying to simultaneously exploit low dimensionality using, e.g., manifolds. This work proposes to overcome these obstacles by combining techniques from semi-infinite constrained learning and manifold regularization. To do so, it shows that, under typical conditions, the problem of learning a Lipschitz continuous function on a manifold is equivalent to a dynamically weighted manifold regularization problem. This observation leads to a practical algorithm based on a weighted Laplacian penalty whose weights are adapted using stochastic gradient techniques. We prove that, under mild conditions, this method estimates the Lipschitz constant of the solution, learning a globally smooth solution as a byproduct. Numerical examples illustrate the advantages of using this method to impose global smoothness on manifolds as opposed to imposing smoothness on average.
• Abstract（参考訳）: 滑らかさと低次元構造は、学習と統計の一般化と安定性を改善する上で中心的な役割を果たす。 これらの特性の組み合わせは、半教師付き学習、生成モデリング、動的システムの制御において多くの進歩をもたらした。 しかし、線形モデルやカーネルモデルなどの単純な場合を除いて、スムーズな関数の学習は一般的に難しい。 典型的な手法は保守的すぎるか、スペクトル正規化やlax、平均的な滑らかさのペナライズといった粗い上限に依存するか、あるいは計算集約的すぎるかのいずれかであり、大規模な半定義プログラムの解を必要とする。 これらの問題は、例えば多様体を用いて低次元を同時に利用しようとする場合にのみ悪化する。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 そのため、典型的な条件下では、多様体上のリプシッツ連続函数を学習する問題は、動的重み付き多様体正則化問題と同値である。 この観測により,確率勾配法を用いて重み付けされたラプラシアンペナルティに基づく実用的アルゴリズムが導かれる。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。 数値例は、この方法を使って多様体に大域的な滑らかさを課すことの利点を、平均的に滑らかさを課すこととは対照的に示している。

関連論文リスト

• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Hessian Based Smoothing Splines for Manifold Learning [0.228438857884398]
  多様体学習における多次元平滑化スプラインアルゴリズムを提案する。 平らな多様体のソボレフ空間上の二次形式に、薄板スプラインの曲げエネルギーペナルティを一般化する。 解の存在と一意性は、ヒルベルト空間を再現する理論を適用することによって示される。
  論文  参考訳（メタデータ） (2023-02-10T02:49:05Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Subgradient methods near active manifolds: saddle point avoidance, local convergence, and asymptotic normality [4.709588811674973]
  目的と段階的近似が問題のスムーズな部分構造を完全に表すことを示す。 コーン可逆/分解可能関数や一般半代数問題など、これらの性質が幅広い問題に対して成り立つことを証明している。 正規性の結果は、最も古典的な設定でも新しいように見える。
  論文  参考訳（メタデータ） (2021-08-26T15:02:16Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
  ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。 この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。 例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
  論文  参考訳（メタデータ） (2021-06-08T13:59:47Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。