論文の概要: Symmetry Breaking in Symmetric Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2103.06234v1
- Date: Wed, 10 Mar 2021 18:11:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 14:41:05.117210
- Title: Symmetry Breaking in Symmetric Tensor Decomposition
- Title(参考訳): 対称テンソル分解における対称性破壊
- Authors: Yossi Arjevani, Joan Bruna, Michael Field, Joe Kileel, Matthew Trager,
Francis Williams
- Abstract要約: 本稿では,対称テンソルのランクの計算に伴う最適化問題を考察する。
明確に定義された意味では、ミニマは対象テンソルの対称性を損なうが、あまり多くはない。
- 参考スコア(独自算出の注目度): 45.67665883218047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note, we consider the optimization problem associated with computing
the rank decomposition of a symmetric tensor. We show that, in a well-defined
sense, minima in this highly nonconvex optimization problem break the symmetry
of the target tensor -- but not too much. This phenomenon of symmetry breaking
applies to various choices of tensor norms, and makes it possible to study the
optimization landscape using a set of recently-developed symmetry-based
analytical tools. The fact that the objective function under consideration is a
multivariate polynomial allows us to apply symbolic methods from computational
algebra to obtain more refined information on the symmetry breaking phenomenon.
- Abstract(参考訳): 本稿では,対称テンソルのランク分解の計算に伴う最適化問題について考察する。
我々は、よく定義された意味で、この非常に非凸な最適化問題におけるミニマが、ターゲットテンソルの対称性を損なうが、あまり多くはないことを示す。
この対称性の破れ現象は、テンソルノルムの様々な選択に適用され、最近開発された対称性に基づく分析ツールのセットを使って最適化の風景を研究することができる。
対象関数が多変量多項式であるという事実は、対称性破れ現象に関するより洗練された情報を得るために計算代数学から記号的手法を適用することができる。
関連論文リスト
- SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。
この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。
私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文 参考訳(メタデータ) (2024-10-07T17:40:51Z) - Symmetry & Critical Points [7.23389716633927]
不変関数の臨界点は対称であるかもしれないし、そうでないかもしれない。
しかし、対称臨界点が隣り合っている場合、その近傍に一般性が存在することを証明している。
論文 参考訳(メタデータ) (2024-08-26T17:36:51Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳(メタデータ) (2023-12-14T15:06:48Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Symmetry Induces Structure and Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。
ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
論文 参考訳(メタデータ) (2023-09-29T02:21:31Z) - Symmetry & Critical Points for Symmetric Tensor Decomposition Problems [6.123324869194196]
実対称テンソルをランク1項の和に分解する非最適化問題を考える。
使用法は、問題次元においてプーズ級数で表される臨界点の無限の族を構成するためのリッチ対称性構造から成り立っている。
すべての臨界点に対して生じる望ましくない現象は、対象関数の値によって増加する負のヘッセン固有値の数を懸念する。
論文 参考訳(メタデータ) (2023-06-13T16:25:30Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳(メタデータ) (2021-12-23T04:05:01Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳(メタデータ) (2021-10-12T18:12:23Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。