Fugu-MT 論文翻訳(概要): Clifford-Steerable Convolutional Neural Networks

論文の概要: Clifford-Steerable Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2402.14730v2
Date: Tue, 11 Jun 2024 14:05:40 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 22:22:49.729467
Title: Clifford-Steerable Convolutional Neural Networks
Title（参考訳）: Clifford-Steerable Convolutional Neural Networks
Authors: Maksim Zhdanov, David Ruhe, Maurice Weiler, Ana Lucic, Johannes Brandstetter, Patrick Forré,
Abstract要約: 我々はClifford-Steerable Convolutional Neural Networks (CS-CNNs)を提案する。 CS-CNN は擬ユークリッド空間 $mathbbRp,q$ 上の乗ベクトル場を処理する。我々のアプローチはクリフォード群同変ニューラルネットワークによる$mathrmO(p,q)$-steerable kernelの暗黙のパラメトリゼーションに基づいている。
参考スコア（独自算出の注目度）: 29.14093390474096
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Clifford-Steerable Convolutional Neural Networks (CS-CNNs), a novel class of $\mathrm{E}(p, q)$-equivariant CNNs. CS-CNNs process multivector fields on pseudo-Euclidean spaces $\mathbb{R}^{p,q}$. They cover, for instance, $\mathrm{E}(3)$-equivariance on $\mathbb{R}^3$ and Poincar\'e-equivariance on Minkowski spacetime $\mathbb{R}^{1,3}$. Our approach is based on an implicit parametrization of $\mathrm{O}(p,q)$-steerable kernels via Clifford group equivariant neural networks. We significantly and consistently outperform baseline methods on fluid dynamics as well as relativistic electrodynamics forecasting tasks.
Abstract（参考訳）: Clifford-Steerable Convolutional Neural Networks (CS-CNNs) は$\mathrm{E}(p, q)$-equivariant CNNの新しいクラスである。 CS-CNN は擬ユークリッド空間 $\mathbb{R}^{p,q}$ 上の乗ベクトル場を処理する。例えば、$\mathrm{E}(3)$-equivariance on $\mathbb{R}^3$ と Poincar\'e-equivariance on Minkowski spacetime $\mathbb{R}^{1,3}$ をカバーしている。我々のアプローチはクリフォード群同変ニューラルネットワークによる$\mathrm{O}(p,q)$-steerable kernelの暗黙のパラメトリゼーションに基づいている。我々は流体力学のベースライン法と相対論的電磁力学予測タスクを著しく、一貫して上回っている。

関連論文リスト

Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文参考訳（メタデータ） (2024-02-06T15:39:09Z)
Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文参考訳（メタデータ） (2023-11-23T02:19:32Z)
Generalization Ability of Wide Neural Networks on $\mathbb{R}$ [8.508360765158326]
広い2層ReLUニューラルネットワークのmathbbR$上での一般化能力について検討した。 $i)$幅$mrightarrowinfty$のとき、ニューラルネットワークカーネル(NNK)がNTKに均一に収束すると、$ii)$$$$K_1$のRKHSに対する回帰の最小値が$n-2/3$;$iii)$ 広義のニューラルネットワークをトレーニングする際に早期停止戦略を採用する場合、$ivとなる。
論文参考訳（メタデータ） (2023-02-12T15:07:27Z)
How Jellyfish Characterise Alternating Group Equivariant Neural Networks [0.0]
学習可能で線型で$A_n$-equivariantな層関数の基底は、そのようなテンソルパワー空間の間の$mathbbRn$の標準基底である。また,本手法が局所対称性に同値なニューラルネットワークの構築にどのように一般化するかについても述べる。
論文参考訳（メタデータ） (2023-01-24T17:39:10Z)
Graph Convolutional Neural Networks as Parametric CoKleisli morphisms [0.0]
任意のグラフに対して$n$ノードを持つグラフ畳み込みニューラルネットワークを$mathbfGCNN_n$で定義する。積コモナドのCoKleisli圏に基底圏をセットした、 $mathbfPara$ と $mathbfLens$ という、すでに存在するディープラーニングのカテゴリ構成を導出できることを示す。
論文参考訳（メタデータ） (2022-12-01T14:49:58Z)
Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文参考訳（メタデータ） (2022-11-29T03:42:11Z)
Neural Networks Efficiently Learn Low-Dimensional Representations with SGD [22.703825902761405]
SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
論文参考訳（メタデータ） (2022-09-29T15:29:10Z)
Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文参考訳（メタデータ） (2022-06-17T17:55:43Z)
Geometric Deep Learning and Equivariant Neural Networks [0.9381376621526817]
幾何学的深層学習の数学的基礎を調査し,群同変とゲージ同変ニューラルネットワークに着目した。任意の多様体 $mathcalM$ 上のゲージ同変畳み込みニューラルネットワークを、構造群 $K$ の主バンドルと、関連するベクトルバンドルの切断間の同変写像を用いて開発する。セマンティックセグメンテーションやオブジェクト検出ネットワークなど,このフォーマリズムのいくつかの応用を解析する。
論文参考訳（メタデータ） (2021-05-28T15:41:52Z)
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。