論文の概要: Symmetry Breaking in Symmetric Tensor Decomposition
- arxiv url: http://arxiv.org/abs/2103.06234v2
- Date: Thu, 28 Dec 2023 16:50:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-30 00:05:14.442965
- Title: Symmetry Breaking in Symmetric Tensor Decomposition
- Title(参考訳): 対称テンソル分解における対称性破壊
- Authors: Yossi Arjevani, Joan Bruna, Michael Field, Joe Kileel, Matthew Trager,
Francis Williams
- Abstract要約: 我々は、対称テンソルの点階分解を計算する非対称問題を考える。
損失関数の臨界点が標準手法によって検出されることを示す。
- 参考スコア(独自算出の注目度): 44.181747424363245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note, we consider the highly nonconvex optimization problem
associated with computing the rank decomposition of symmetric tensors. We
formulate the invariance properties of the loss function and show that critical
points detected by standard gradient based methods are \emph{symmetry breaking}
with respect to the target tensor. The phenomena, seen for different choices of
target tensors and norms, make possible the use of recently developed analytic
and algebraic tools for studying nonconvex optimization landscapes exhibiting
symmetry breaking phenomena of similar nature.
- Abstract(参考訳): 本稿では,対称テンソルのランク分解の計算に関連する非凸最適化問題を考える。
損失関数の不変性特性を定式化し、標準勾配法で検出される臨界点が対象テンソルに対して \emph{symmetry breaking} であることを示す。
対象テンソルとノルムの異なる選択のために見られるこの現象は、最近開発された解析的および代数的ツールを用いて、類似した性質の対称性の破れ現象を示す非凸最適化風景を研究することができる。
関連論文リスト
- SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。
この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。
私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文 参考訳(メタデータ) (2024-10-07T17:40:51Z) - Symmetry & Critical Points [7.23389716633927]
不変関数の臨界点は対称であるかもしれないし、そうでないかもしれない。
しかし、対称臨界点が隣り合っている場合、その近傍に一般性が存在することを証明している。
論文 参考訳(メタデータ) (2024-08-26T17:36:51Z) - Symmetry Breaking and Equivariant Neural Networks [17.740760773905986]
我々は「緩和された同注入」という新しい概念を導入する。
我々は、この緩和を同変多層パーセプトロン(E-MLP)に組み込む方法を示す。
対称性の破れの関連性は、様々な応用領域で議論される。
論文 参考訳(メタデータ) (2023-12-14T15:06:48Z) - Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。
対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。
私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
論文 参考訳(メタデータ) (2023-10-09T20:22:43Z) - Symmetry Induces Structure and Constraint of Learning [0.0]
機械学習モデルの学習行動に影響を及ぼすか、決定しないかにかかわらず、損失関数対称性の重要性を明らかにする。
ディープラーニングにおけるミラー対称性の一般的な例としては、再スケーリング、回転、置換対称性がある。
ニューラルネットワークにおける可塑性の喪失や様々な崩壊現象などの興味深い現象を理論的枠組みで説明できることを示す。
論文 参考訳(メタデータ) (2023-09-29T02:21:31Z) - Symmetry & Critical Points for Symmetric Tensor Decomposition Problems [6.650108973968032]
実対称テンソルをランク1項の和に分解する非最適化問題を考える。
使用法は、問題次元においてプーズ級数で表される臨界点の無限の族を構成するためのリッチ対称性構造から成り立っている。
すべての臨界点に対して生じる望ましくない現象は、対象関数の値によって増加する負のヘッセン固有値の数を懸念する。
論文 参考訳(メタデータ) (2023-06-13T16:25:30Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - When Random Tensors meet Random Matrices [50.568841545067144]
本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。
検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
論文 参考訳(メタデータ) (2021-12-23T04:05:01Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳(メタデータ) (2021-10-12T18:12:23Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。