論文の概要: From Symmetry to Geometry: Tractable Nonconvex Problems
- arxiv url: http://arxiv.org/abs/2007.06753v4
- Date: Fri, 8 Jul 2022 18:57:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 13:30:45.602776
- Title: From Symmetry to Geometry: Tractable Nonconvex Problems
- Title（参考訳）: 対称性から幾何学へ:トラクタブル非凸問題
- Authors: Yuqian Zhang, Qing Qu, and John Wright
- Abstract要約: ランドスケープにおける曲率の役割と対称性の異なる役割について論じる。
これは観測された現象のオープンな問題に富んでいる。
- 参考スコア（独自算出の注目度）: 20.051126124841076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As science and engineering have become increasingly data-driven, the role of
optimization has expanded to touch almost every stage of the data analysis
pipeline, from signal and data acquisition to modeling and prediction. The
optimization problems encountered in practice are often nonconvex. While
challenges vary from problem to problem, one common source of nonconvexity is
nonlinearity in the data or measurement model. Nonlinear models often exhibit
symmetries, creating complicated, nonconvex objective landscapes, with multiple
equivalent solutions. Nevertheless, simple methods (e.g., gradient descent)
often perform surprisingly well in practice.
The goal of this survey is to highlight a class of tractable nonconvex
problems, which can be understood through the lens of symmetries. These
problems exhibit a characteristic geometric structure: local minimizers are
symmetric copies of a single "ground truth" solution, while other critical
points occur at balanced superpositions of symmetric copies of the ground
truth, and exhibit negative curvature in directions that break the symmetry.
This structure enables efficient methods to obtain global minimizers. We
discuss examples of this phenomenon arising from a wide range of problems in
imaging, signal processing, and data analysis. We highlight the key role of
symmetry in shaping the objective landscape and discuss the different roles of
rotational and discrete symmetries. This area is rich with observed phenomena
and open problems; we close by highlighting directions for future research.
- Abstract（参考訳）: 科学と工学がデータ駆動型になるにつれて、最適化の役割は、信号やデータ取得からモデリングや予測に至るまで、データ分析パイプラインのほぼすべてのステージに及んでいる。
実際に遭遇する最適化問題は、しばしば非凸である。
課題は問題によって異なるが、非凸性の共通の源はデータや測定モデルにおける非線形性である。
非線形モデルはしばしば対称性を示し、複数の等価解を持つ複雑で非凸な客観的な景観を創出する。
それでも、単純な方法(例えば勾配降下)は実際は驚くほどよく機能する。
本調査の目的は, 対称性のレンズを通して理解可能な, トラクタブルな非凸問題のクラスを明らかにすることである。
これらの問題は特徴的な幾何学的構造を示し、局所的最小化子は単一の「根拠真理」解の対称コピーであり、他の臨界点は基底真理の対称コピーの平衡重ね合わせで起こり、対称性を破る方向に負の曲率を示す。
この構造は、地球規模の最小値を得る効率的な方法を可能にする。
本稿では,画像処理,信号処理,データ解析における様々な問題から生じるこの現象の例について論じる。
対象景観形成における対称性の役割を強調し,回転対称性と離散対称性の異なる役割について論じる。
この領域は観測された現象とオープンな問題に富み、今後の研究の方向性を強調して閉鎖する。
関連論文リスト
- Exceptional Points and Stability in Nonlinear Models of Population Dynamics having $\mathcal{PT}$ symmetry [49.1574468325115]
我々は、進化ゲーム理論の複製子方程式と、人口動態のロトカ・ボルテラ系によって支配されるモデルを分析する。
a) 支配対称性特性がモデルの大域的性質と結びついている場合、および(b) それらの対称性が定常状態の周囲に局所的に現れる場合の2つのケースにおける例外点の出現について検討する。
論文 参考訳（メタデータ） (2024-11-19T02:15:59Z) - Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。
この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
論文 参考訳（メタデータ） (2024-10-29T08:28:23Z) - SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。
この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。
私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文 参考訳（メタデータ） (2024-10-07T17:40:51Z) - Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - Symmetry Induces Structure and Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。
ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
論文 参考訳（メタデータ） (2023-09-29T02:21:31Z) - Symmetries, flat minima, and the conserved quantities of gradient flow [20.12938444246729]
パラメータ空間における連続対称性を見つけるための枠組みについて述べる。
この枠組みを非線形ニューラルネットワークに一般化するために,非線形・データ依存対称性の新たな集合を導入する。
論文 参考訳（メタデータ） (2022-10-31T10:55:30Z) - Degradation-agnostic Correspondence from Resolution-asymmetric Stereo [96.03964515969652]
テレワイドカメラシステムで取得した解像度の異なる2枚の画像からステレオマッチングの問題を考察する。
特徴量整合性という画像空間の代わりに特徴空間に2つのビュー間の整合性を課すことを提案する。
測光損失をトレーニングしたステレオマッチングネットワークは最適ではないが, 特徴抽出器は劣化に依存しない, マッチング特有の特徴を生成できる。
論文 参考訳（メタデータ） (2022-04-04T12:24:34Z) - Deep Networks on Toroids: Removing Symmetries Reveals the Structure of
Flat Regions in the Landscape Geometry [3.712728573432119]
我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。
最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。
また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
論文 参考訳（メタデータ） (2022-02-07T09:57:54Z) - Stability and Generalization of Stochastic Gradient Methods for Minimax
Problems [71.60601421935844]
多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。
ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
論文 参考訳（メタデータ） (2021-05-08T22:38:00Z) - On the Tightness of Semidefinite Relaxations for Rotation Estimation [49.49997461835141]
半定義緩和がコンピュータビジョンとロボティクスの多くの応用で成功していることを示す。
半有限緩和解析のための代数幾何学のツールに基づく一般的なフレームワークが導入された。
ある問題に対して、適切なパラリゼーションが厳密な緩和を保証することを示す。
論文 参考訳（メタデータ） (2021-01-06T15:42:02Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。