論文の概要: Understanding Notions of Stationarity in Non-Smooth Optimization
- arxiv url: http://arxiv.org/abs/2006.14901v1
- Date: Fri, 26 Jun 2020 10:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:31:17.138839
- Title: Understanding Notions of Stationarity in Non-Smooth Optimization
- Title（参考訳）: 非スムース最適化における定常性概念の理解
- Authors: Jiajin Li, Anthony Man-Cho So, Wing-Kin Ma
- Abstract要約: 信号処理や機械学習における現代の多くの応用は、構造化された非滑らかな非滑らかな最適化問題を引き起こす。
このような現象を理解するための鍵の1つは、専門家にとって非常に難しい難問の1つです。
- 参考スコア（独自算出の注目度）: 46.79939028097824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many contemporary applications in signal processing and machine learning give
rise to structured non-convex non-smooth optimization problems that can often
be tackled by simple iterative methods quite effectively. One of the keys to
understanding such a phenomenon---and, in fact, one of the very difficult
conundrums even for experts---lie in the study of "stationary points" of the
problem in question. Unlike smooth optimization, for which the definition of a
stationary point is rather standard, there is a myriad of definitions of
stationarity in non-smooth optimization. In this article, we give an
introduction to different stationarity concepts for several important classes
of non-convex non-smooth functions and discuss the geometric interpretations
and further clarify the relationship among these different concepts. We then
demonstrate the relevance of these constructions in some representative
applications and how they could affect the performance of iterative methods for
tackling these applications.
- Abstract（参考訳）: 信号処理や機械学習における現代の多くの応用は、構造的非凸非スムース最適化問題を引き起こし、単純な反復的手法によって非常に効果的に対処できる。
このような現象を理解するための鍵の1つは、実際、専門家にとってさえも非常に難しい問題の一つであり、問題の「静止点」の研究に当てはまる。
静止点の定義がかなり標準的な滑らかな最適化とは異なり、非スムース最適化における定常性の定義は無数のものが存在する。
本稿では,非凸非スムース関数の重要なクラスについて,異なる定常性概念の紹介を行い,幾何学的解釈を議論し,これらの概念間の関係をさらに明らかにする。
次に,いくつかの代表的なアプリケーションにおけるこれらの構成の関連性と,それらのアプリケーションに取り組むための反復的手法の性能にどのように影響するかを実証する。
関連論文リスト
- A Canonicalization Perspective on Invariant and Equivariant Learning [54.44572887716977]
フレームの設計について,本質的で完全な視点を提供する正準化の視点を導入する。
フレームと標準形式の間には固有の関係があることが示される。
既存の手法よりも厳密な固有ベクトルのための新しいフレームを設計する。
論文 参考訳（メタデータ） (2024-05-28T17:22:15Z) - Analyzing and Enhancing the Backward-Pass Convergence of Unrolled
Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。
本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。
Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文 参考訳（メタデータ） (2023-12-28T23:15:18Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Nonsmooth Implicit Differentiation for Machine Learning and Optimization [0.0]
ますます複雑化する学習アーキテクチャの訓練の観点から、演算計算を用いた非滑らかな暗黙関数定理を確立する。
この結果は、古典的可逆条件の非滑らかな形式が満たされることを前提として、最も実践的な問題(すなわち、定義可能な問題)に適用できる。
例えば、クラーク・ヤコビアンによる微分式を通常の微分公式で置き換えることは完全に正当化される。
論文 参考訳（メタデータ） (2021-06-08T13:59:47Z) - Efficient and Modular Implicit Differentiation [68.74748174316989]
最適化問題の暗黙的な微分のための統一的で効率的かつモジュール化されたアプローチを提案する。
一見単純な原理は、最近提案された多くの暗黙の微分法を復元し、新しいものを簡単に作成できることを示している。
論文 参考訳（メタデータ） (2021-05-31T17:45:58Z) - NTopo: Mesh-free Topology Optimization using Implicit Neural
Representations [35.07884509198916]
トポロジ最適化問題に対処する新しい機械学習手法を提案する。
我々は多層パーセプトロン(MLP)を用いて密度場と変位場の両方をパラメータ化する。
実験を通じて示すように、私たちのアプローチの大きな利点は、継続的ソリューション空間の自己教師付き学習を可能にすることです。
論文 参考訳（メタデータ） (2021-02-22T05:25:22Z) - Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth
Non-Convex Optimization [25.680334940504405]
本稿では,制約問題に対する運動量を持つ非滑らかな過渡法の割合の収束性を確立する。
問題としては、制約のないケースが、最先端技術よりも弱い仮定の下でどのように分析できるかを示す。
論文 参考訳（メタデータ） (2020-02-13T12:10:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。