Fugu-MT 論文翻訳(概要): A Feedforward Unitary Equivariant Neural Network

論文の概要: A Feedforward Unitary Equivariant Neural Network

arxiv url: http://arxiv.org/abs/2208.12146v1
Date: Thu, 25 Aug 2022 15:05:02 GMT
ステータス: 処理完了
システム内更新日: 2022-08-26 13:41:00.543679
Title: A Feedforward Unitary Equivariant Neural Network
Title（参考訳）: feedforwardユニタリ同変ニューラルネットワーク
Authors: Pui-Wai Ma and T.-H. Hubert Chan
Abstract要約: 我々は新しいタイプのフィードフォワードニューラルネットワークを考案した。これはユニタリ群 $U(n)$ に対して同変である。入力と出力は任意の次元が$n$の$mathbbCn$のベクトルである。
参考スコア（独自算出の注目度）: 3.6220250022337335
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We devise a new type of feedforward neural network. It is equivariant with respect to the unitary group $U(n)$. The input and output can be vectors in $\mathbb{C}^n$ with arbitrary dimension $n$. No convolution layer is required in our implementation. We avoid errors due to truncated higher order terms in Fourier-like transformation. The implementation of each layer can be done efficiently using simple calculations. As a proof of concept, we have given empirical results on the prediction of the dynamics of atomic motion to demonstrate the practicality of our approach.
Abstract（参考訳）: 我々は新しいタイプのフィードフォワードニューラルネットワークを考案する。これはユニタリ群 $U(n)$ に対して同変である。入力と出力は任意の次元 $n$ を持つ$\mathbb{c}^n$ のベクトルでもよい。私たちの実装では畳み込み層は不要です。フーリエ様変換における高次項の停止による誤差を避ける。各層の実装は簡単な計算で効率的に行うことができる。概念実証として,原子運動の力学の予測について実証的な結果を与え,本手法の実用性を実証した。

関連論文リスト

Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文参考訳（メタデータ） (2024-09-09T18:10:26Z)
Scale Equivariant Graph Metanetworks [20.445135424921908]
本稿では,入力が関数自身である学習機能という,新たな機械学習パラダイムについて述べる。我々は、スケーリング対称性を取り入れたグラフメタネットワーク(メッセージパッシング)パラダイムを適用するフレームワークである、$textitScale Equivariant Graph MetaNetworks - ScaleGMNs$を提案する。
論文参考訳（メタデータ） (2024-06-15T16:41:04Z)
How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文参考訳（メタデータ） (2024-02-08T16:24:44Z)
On dimensionality of feature vectors in MPNNs [49.32130498861987]
我々は、メッセージパッシンググラフニューラルネットワーク(MPNN)がWeisfeiler--Leman(WL)同型テストに対する識別力に等しいというモリスら(AAAI'19)の古典的な結果を再考する。
論文参考訳（メタデータ） (2024-02-06T12:56:55Z)
Convolutions and More as Einsum: A Tensor Network Perspective with Advances for Second-Order Methods [2.8645507575980074]
我々はそれらをテンソルネットワーク(TN)として見ることで畳み込みを単純化する TN はダイアグラムを描画し、微分のような関数変換を実行するようにそれらを操作し、それらを固有値で効率的に評価することで、基礎となるテンソル乗法を推論することができる。我々のTN実装は、標準実装のメモリオーバーヘッドをなくしながら、最大4.5倍のKFAC変異を加速し、近似バックプロパゲーションのための新しいハードウェア効率の良いドロップアウトを可能にする。
論文参考訳（メタデータ） (2023-07-05T13:19:41Z)
Invariant Layers for Graphs with Nodes of Different Types [27.530546740444077]
入力置換に不変な線形層を実装することで、既存の手法よりも重要なノード間の相互作用を効果的に学習できることを示す。この結果は、$n$ノードを持つグラフ上の関数近似が、最もよく知られた有界な$leq n(n-1)/2$よりも厳密な大きさのテンソル$leq n$で実現できることを示唆している。
論文参考訳（メタデータ） (2023-02-27T07:10:33Z)
Implicit Convolutional Kernels for Steerable CNNs [5.141137421503899]
ステアブル畳み込みニューラルネットワーク(CNN)は、原点保存グループ$G$の翻訳と変換に等しいニューラルネットワークを構築するための一般的なフレームワークを提供する。本稿では,多層パーセプトロン(MLP)による暗黙的ニューラル表現を用いて,$G$-steerableカーネルのパラメータ化を提案する。我々は,N体シミュレーション,点雲分類,分子特性予測など,複数のタスクにおける本手法の有効性を実証する。
論文参考訳（メタデータ） (2022-12-12T18:10:33Z)
Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文参考訳（メタデータ） (2022-11-29T03:42:11Z)
Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
論文参考訳（メタデータ） (2021-12-23T03:52:33Z)
Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文参考訳（メタデータ） (2020-10-22T00:32:12Z)
Why Are Convolutional Nets More Sample-Efficient than Fully-Connected Nets? [33.51250867983687]
標準学習アルゴリズムにおいて、証明可能なサンプル複雑性のギャップを示すことができる自然なタスクを示す。単一の対象関数を示し、可能なすべての分布について、$O(1)$対$Omega(d2/varepsilon)$ギャップを学習する。同様の結果が$ell$回帰およびAdamやAdaGradといった適応型トレーニングアルゴリズムに対して達成される。
論文参考訳（メタデータ） (2020-10-16T17:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。