論文の概要: A Feedforward Unitary Equivariant Neural Network
- arxiv url: http://arxiv.org/abs/2208.12146v1
- Date: Thu, 25 Aug 2022 15:05:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-26 13:41:00.543679
- Title: A Feedforward Unitary Equivariant Neural Network
- Title(参考訳): feedforwardユニタリ同変ニューラルネットワーク
- Authors: Pui-Wai Ma and T.-H. Hubert Chan
- Abstract要約: 我々は新しいタイプのフィードフォワードニューラルネットワークを考案した。
これはユニタリ群 $U(n)$ に対して同変である。
入力と出力は任意の次元が$n$の$mathbbCn$のベクトルである。
- 参考スコア(独自算出の注目度): 3.6220250022337335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We devise a new type of feedforward neural network. It is equivariant with
respect to the unitary group $U(n)$. The input and output can be vectors in
$\mathbb{C}^n$ with arbitrary dimension $n$. No convolution layer is required
in our implementation. We avoid errors due to truncated higher order terms in
Fourier-like transformation. The implementation of each layer can be done
efficiently using simple calculations. As a proof of concept, we have given
empirical results on the prediction of the dynamics of atomic motion to
demonstrate the practicality of our approach.
- Abstract(参考訳): 我々は新しいタイプのフィードフォワードニューラルネットワークを考案する。
これはユニタリ群 $U(n)$ に対して同変である。
入力と出力は任意の次元 $n$ を持つ$\mathbb{c}^n$ のベクトルでもよい。
私たちの実装では畳み込み層は不要です。
フーリエ様変換における高次項の停止による誤差を避ける。
各層の実装は簡単な計算で効率的に行うことができる。
概念実証として,原子運動の力学の予測について実証的な結果を与え,本手法の実用性を実証した。
関連論文リスト
- Scale Equivariant Graph Metanetworks [20.445135424921908]
本稿では,スケーリング対称性を取り入れたグラフメタネットワーク(メッセージパス)パラダイムを適用するフレームワークを提案する。
提案手法は,複数のデータセットとアクティベーション関数の最先端性能を向上することを示す。
論文 参考訳(メタデータ) (2024-06-15T16:41:04Z) - How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。
トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文 参考訳(メタデータ) (2024-02-08T16:24:44Z) - On dimensionality of feature vectors in MPNNs [49.32130498861987]
我々は、メッセージパッシンググラフニューラルネットワーク(MPNN)がWeisfeiler--Leman(WL)同型テストに対する識別力に等しいというモリスら(AAAI'19)の古典的な結果を再考する。
論文 参考訳(メタデータ) (2024-02-06T12:56:55Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - Convolutions Through the Lens of Tensor Networks [2.6397379133308214]
テンソルネットワーク(TN)による畳み込みの新しい視点を提供する。
TNは、ダイアグラムを描画し、関数変換、サブテンソルアクセス、融合を実行するためにそれらを操作することによって、基礎となるテンソル乗法を推論することができる。
種々のオートディフ演算の図式と2次情報の一般的な近似を導出することにより、この表現力を実証する。
論文 参考訳(メタデータ) (2023-07-05T13:19:41Z) - Invariant Layers for Graphs with Nodes of Different Types [27.530546740444077]
入力置換に不変な線形層を実装することで、既存の手法よりも重要なノード間の相互作用を効果的に学習できることを示す。
この結果は、$n$ノードを持つグラフ上の関数近似が、最もよく知られた有界な$leq n(n-1)/2$よりも厳密な大きさのテンソル$leq n$で実現できることを示唆している。
論文 参考訳(メタデータ) (2023-02-27T07:10:33Z) - Implicit Convolutional Kernels for Steerable CNNs [5.141137421503899]
ステアブル畳み込みニューラルネットワーク(CNN)は、原点保存グループ$G$の翻訳と変換に等しいニューラルネットワークを構築するための一般的なフレームワークを提供する。
本稿では,多層パーセプトロン(MLP)による暗黙的ニューラル表現を用いて,$G$-steerableカーネルのパラメータ化を提案する。
我々は,N体シミュレーション,点雲分類,分子特性予測など,複数のタスクにおける本手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-12-12T18:10:33Z) - Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and
Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。
両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。
また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文 参考訳(メタデータ) (2022-11-29T03:42:11Z) - Revisiting Transformation Invariant Geometric Deep Learning: Are Initial
Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。
具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。
我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文 参考訳(メタデータ) (2021-12-23T03:52:33Z) - Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。
以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文 参考訳(メタデータ) (2020-10-22T00:32:12Z) - Why Are Convolutional Nets More Sample-Efficient than Fully-Connected
Nets? [33.51250867983687]
標準学習アルゴリズムにおいて、証明可能なサンプル複雑性のギャップを示すことができる自然なタスクを示す。
単一の対象関数を示し、可能なすべての分布について、$O(1)$対$Omega(d2/varepsilon)$ギャップを学習する。
同様の結果が$ell$回帰およびAdamやAdaGradといった適応型トレーニングアルゴリズムに対して達成される。
論文 参考訳(メタデータ) (2020-10-16T17:15:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。