論文の概要: On the Convergence of Optimizing Persistent-Homology-Based Losses
- arxiv url: http://arxiv.org/abs/2206.02946v1
- Date: Mon, 6 Jun 2022 23:22:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 14:28:23.468815
- Title: On the Convergence of Optimizing Persistent-Homology-Based Losses
- Title(参考訳): 持続homology-based lossの最適化の収束について
- Authors: Yikai Zhang, Jiachen Yao, Yusu Wang, Chao Chen
- Abstract要約: 位相的損失は、ある所望の位相的特性を達成するためにモデルを強制する。
汎用的なトポロジ認識損失を導入する。
これらの寄与は、モデルに所望のトポロジカルな振舞いを強制するだけでなく、収束的な振舞いを満足させる新しい損失関数をもたらす。
- 参考スコア(独自算出の注目度): 16.308134813298867
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Topological loss based on persistent homology has shown promise in various
applications. A topological loss enforces the model to achieve certain desired
topological property. Despite its empirical success, less is known about the
optimization behavior of the loss. In fact, the topological loss involves
combinatorial configurations that may oscillate during optimization. In this
paper, we introduce a general purpose regularized topology-aware loss. We
propose a novel regularization term and also modify existing topological loss.
These contributions lead to a new loss function that not only enforces the
model to have desired topological behavior, but also achieves satisfying
convergence behavior. Our main theoretical result guarantees that the loss can
be optimized efficiently, under mild assumptions.
- Abstract(参考訳): 永続ホモロジーに基づく位相的損失は様々な応用において有望である。
位相損失は、ある所望の位相特性を達成するためにモデルを強制する。
経験的な成功にもかかわらず、損失の最適化行動についてはあまり知られていない。
実際、トポロジカルな損失は最適化中に振動する組合せ構成を含む。
本稿では,一般化されたトポロジ認識損失を提案する。
新たな正規化項を提案するとともに,既存のトポロジ的損失も修正する。
これらの寄与は、モデルに所望の位相的振る舞いを強制するだけでなく、収束挙動を満足させる新しい損失関数をもたらす。
我々の理論結果は、損失を軽微な仮定の下で効率的に最適化できることを保証する。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Implicit Bias of Gradient Descent for Logistic Regression at the Edge of
Stability [69.01076284478151]
機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く
本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
論文 参考訳(メタデータ) (2023-05-19T16:24:47Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳(メタデータ) (2023-04-14T17:58:23Z) - Gradient descent provably escapes saddle points in the training of
shallow ReLU networks [3.0079490585515343]
関係する力学系の結果の変種、中心安定多様体定理を証明し、いくつかの正則性要件を緩和する。
アフィンターゲット関数に対して測定された浅部ReLUネットワークの2乗積分損失の臨界点の分類に基づいて、勾配降下がほとんどのサドル点を回避することを推定する。
論文 参考訳(メタデータ) (2022-08-03T14:08:52Z) - Topologically penalized regression on manifolds [0.0]
コンパクト多様体 M 上の回帰問題について検討する。
データの基底幾何学と位相を利用するために、回帰タスクは多様体のラプラス・ベルトラミ作用素の最初のいくつかの固有関数に基づいて実行される。
提案された罰則は固有関数または推定関数の下位レベルの集合の位相に基づく。
論文 参考訳(メタデータ) (2021-10-26T14:59:13Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Risk Guarantees for End-to-End Prediction and Optimization Processes [0.0]
予測性能が最適化性能をどのように支配するかを明確に記述できる条件を検討します。
我々は、二乗損失で測定された予測性能と対称損失関数のクラスとその後の最適化性能との正確な理論的関係を導出する。
論文 参考訳(メタデータ) (2020-12-30T05:20:26Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳(メタデータ) (2020-10-31T21:35:42Z) - On dissipative symplectic integration with applications to
gradient-based optimization [77.34726150561087]
本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。
我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
論文 参考訳(メタデータ) (2020-04-15T00:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。