論文の概要: Topological Regularization via Persistence-Sensitive Optimization

• arxiv url: http://arxiv.org/abs/2011.05290v1
• Date: Tue, 10 Nov 2020 18:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 08:24:31.823487
• Title: Topological Regularization via Persistence-Sensitive Optimization
• Title（参考訳）: パーシステンス-感度最適化による位相正規化
• Authors: Arnur Nigmetov, Aditi S. Krishnapriyan, Nicole Sanderson, Dmitriy Morozov
• Abstract要約: 機械学習と統計学において重要なツールである正規化は、オーバーフィッティングを減らすために正規化に依存している。 本稿では、永続性に敏感な単純化の上に構築され、必要な変更を永続性ダイアグラムに変換して、ドメインの大規模なサブセットの変更に変換する手法を提案する。 このアプローチは、より速く、より正確な位相正規化を可能にします。
• 参考スコア（独自算出の注目度）: 10.29838087001588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization, a key tool in machine learning and statistics, relies on regularization to reduce overfitting. Traditional regularization methods control a norm of the solution to ensure its smoothness. Recently, topological methods have emerged as a way to provide a more precise and expressive control over the solution, relying on persistent homology to quantify and reduce its roughness. All such existing techniques back-propagate gradients through the persistence diagram, which is a summary of the topological features of a function. Their downside is that they provide information only at the critical points of the function. We propose a method that instead builds on persistence-sensitive simplification and translates the required changes to the persistence diagram into changes on large subsets of the domain, including both critical and regular points. This approach enables a faster and more precise topological regularization, the benefits of which we illustrate with experimental evidence.
• Abstract（参考訳）: 機械学習と統計の重要なツールである最適化は、オーバーフィッティングを減らすために正規化に依存している。 従来の正規化法はその滑らかさを保証するために解のノルムを制御する。 近年、トポロジカル手法は、解のより正確で表現力豊かな制御を提供し、その粗さの定量化と低減に永続的ホモロジーに依存している。 このような既存のテクニックはすべて、関数のトポロジ的特徴の要約である永続化ダイアグラムを通じて勾配をバックプロパゲートする。 彼らの欠点は、関数のクリティカルポイントでのみ情報を提供することだ。 そこで本稿では,永続性に敏感な単純化の上に構築され,必要な変更を永続性図に変換して,臨界点と正則点の両方を含む領域の大規模部分集合の変化に変換する手法を提案する。 このアプローチは、より速くより正確な位相正則化を可能にし、その利点は実験的な証拠で示される。

関連論文リスト

• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
  本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
  論文  参考訳（メタデータ） (2023-07-07T13:06:12Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Incremental Correction in Dynamic Systems Modelled with Neural Networks for Constraint Satisfaction [6.729108277517129]
  提案手法は、その引数の基底値のまわりのダイナミクスを線形化することである。 オンライン更新アプローチは、有限水平制御の全体的なターゲティング精度を高めるのに有用である。
  論文  参考訳（メタデータ） (2022-09-08T10:33:30Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Automating Control of Overestimation Bias for Continuous Reinforcement Learning [65.63607016094305]
  バイアス補正を導くためのデータ駆動型手法を提案する。 我々は、最先端の連続制御アルゴリズムであるTrncated Quantile Criticsにおいて、その効果を実証する。
  論文  参考訳（メタデータ） (2021-10-26T09:27:12Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• A Fast and Robust Method for Global Topological Functional Optimization [70.11080854486953]
  本稿では, より高速で, より安定で, より堅牢なバックプロパゲーション手法を提案する。 このスキームは、永続化ダイアグラム内のドットの安定な可視化を、データ構造におけるクリティカルでほぼクリティカルな簡易な分布として作成するためにも使用できる。
  論文  参考訳（メタデータ） (2020-09-17T18:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。