論文の概要: On Non-Linear operators for Geometric Deep Learning
- arxiv url: http://arxiv.org/abs/2207.03485v1
- Date: Wed, 6 Jul 2022 06:45:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 12:47:36.572951
- Title: On Non-Linear operators for Geometric Deep Learning
- Title（参考訳）: 幾何学的深層学習のための非線形演算子について
- Authors: Gr\'egoire Sergeant-Perthuis (LML), Jakob Maier, Joan Bruna (CIMS),
Edouard Oyallon (ISIR)
- Abstract要約: 点右非線型作用素が対称性の任意の群と可換な唯一の普遍族であることを示す。
これは、$mathcalM$の対称性上でニューラルネットワークの設計を動機付ける非線形作用素の普遍クラスが存在しないことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work studies operators mapping vector and scalar fields defined over a
manifold $\mathcal{M}$, and which commute with its group of diffeomorphisms
$\text{Diff}(\mathcal{M})$. We prove that in the case of scalar fields
$L^p_\omega(\mathcal{M,\mathbb{R}})$, those operators correspond to point-wise
non-linearities, recovering and extending known results on $\mathbb{R}^d$. In
the context of Neural Networks defined over $\mathcal{M}$, it indicates that
point-wise non-linear operators are the only universal family that commutes
with any group of symmetries, and justifies their systematic use in combination
with dedicated linear operators commuting with specific symmetries. In the case
of vector fields $L^p_\omega(\mathcal{M},T\mathcal{M})$, we show that those
operators are solely the scalar multiplication. It indicates that
$\text{Diff}(\mathcal{M})$ is too rich and that there is no universal class of
non-linear operators to motivate the design of Neural Networks over the
symmetries of $\mathcal{M}$.
- Abstract（参考訳）: この研究は、多様体 $\mathcal{M}$ 上で定義されるベクトルとスカラー場を写像し、微分同相群 $\text{Diff}(\mathcal{M})$ と可換である。
スカラー場 $L^p_\omega(\mathcal{M,\mathbb{R}})$ の場合、これらの作用素は点次非線型性に対応し、$\mathbb{R}^d$ 上の既知結果を復元および拡張する。
$\mathcal{M}$ 上で定義されたニューラルネットワークの文脈では、ポイントワイド非線型作用素が任意の対称性群と通勤する唯一の普遍族であり、特定の対称性と通勤する専用線型作用素と組み合わせてそれらの体系的利用を正当化することを示している。
ベクトル場 $L^p_\omega(\mathcal{M},T\mathcal{M})$ の場合、これらの作用素は単にスカラー乗法であることを示す。
これは$\text{Diff}(\mathcal{M})$ が高すぎることを示し、$\mathcal{M}$ の対称性上のニューラルネットワークの設計を動機付ける非線形作用素の普遍クラスが存在しないことを示している。
関連論文リスト
- Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Riemannian Langevin Monte Carlo schemes for sampling PSD matrices with
fixed rank [5.0397419406319095]
我々は、$mathcal Sn,p_+$ 上のギブス分布から行列をサンプリングする2つの明示的なスキームを示す。
また、これらのスキームの数値検証を可能にする明示的なギブス分布を持つエネルギー関数の例を示す。
論文 参考訳（メタデータ） (2023-09-08T02:09:40Z) - Deep Operator Network Approximation Rates for Lipschitz Operators [0.0]
我々は,リプシッツ連続写像を模擬したニューラルディープ・オペレーター・ネットワーク(DON)のクラスに対して,普遍性と表現率境界を確立する。
DON アーキテクチャは線形エンコーダ $mathcal E$ とデコーダ $mathcal D$ を (biorthogonal) Riesz bases of $mathcal X$, $mathcal Y$ で使用する。
現在の表現率境界の証明における鍵は、超表現的アクティベーションの使用である。
論文 参考訳（メタデータ） (2023-07-19T08:46:47Z) - DHR bimodules of quasi-local algebras and symmetric quantum cellular
automata [0.0]
二重スピンフリップ作用 $mathbbZ/2mathbbZtimes mathbbZ/2mathbbZZcurvearrowright mathbbC2otimes mathbbC2$ に対して、1D の対称 QCA 対称有限深さ回路群は$S_3$ のコピーを含んでいるので非アーベルであることを示す。
論文 参考訳（メタデータ） (2023-03-31T18:33:07Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Uncertainties in Quantum Measurements: A Quantum Tomography [52.77024349608834]
量子系 $S$ に関連する可観測物は非可換代数 $mathcal A_S$ を形成する。
密度行列 $rho$ は可観測物の期待値から決定できると仮定される。
アーベル代数は内部自己同型を持たないので、測定装置は可観測物の平均値を決定することができる。
論文 参考訳（メタデータ） (2021-12-14T16:29:53Z) - Geometric Deep Learning and Equivariant Neural Networks [0.9381376621526817]
幾何学的深層学習の数学的基礎を調査し,群同変とゲージ同変ニューラルネットワークに着目した。
任意の多様体 $mathcalM$ 上のゲージ同変畳み込みニューラルネットワークを、構造群 $K$ の主バンドルと、関連するベクトルバンドルの切断間の同変写像を用いて開発する。
セマンティックセグメンテーションやオブジェクト検出ネットワークなど,このフォーマリズムのいくつかの応用を解析する。
論文 参考訳（メタデータ） (2021-05-28T15:41:52Z) - A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。
直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。
この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
論文 参考訳（メタデータ） (2021-02-18T19:39:22Z) - Affine symmetries and neural network identifiability [0.0]
我々は、潜在的に複雑なアフィン対称性を持つ任意の非線形性を考える。
この対称性は、同じ関数が$f$となるようなネットワークのリッチな集合を見つけるのに利用できることを示す。
論文 参考訳（メタデータ） (2020-06-21T07:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。