論文の概要: Sampled Transformer for Point Sets
- arxiv url: http://arxiv.org/abs/2302.14346v1
- Date: Tue, 28 Feb 2023 06:38:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-01 17:46:01.105333
- Title: Sampled Transformer for Point Sets
- Title(参考訳): 点集合用サンプル変圧器
- Authors: Shidi Li, Christian Walder, Alexander Soen, Lexing Xie, Miaomiao Liu
- Abstract要約: スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。
我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
- 参考スコア(独自算出の注目度): 80.66097006145999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The sparse transformer can reduce the computational complexity of the
self-attention layers to $O(n)$, whilst still being a universal approximator of
continuous sequence-to-sequence functions. However, this permutation variant
operation is not appropriate for direct application to sets. In this paper, we
proposed an $O(n)$ complexity sampled transformer that can process point set
elements directly without any additional inductive bias. Our sampled
transformer introduces random element sampling, which randomly splits point
sets into subsets, followed by applying a shared Hamiltonian self-attention
mechanism to each subset. The overall attention mechanism can be viewed as a
Hamiltonian cycle in the complete attention graph, and the permutation of point
set elements is equivalent to randomly sampling Hamiltonian cycles. This
mechanism implements a Monte Carlo simulation of the $O(n^2)$ dense attention
connections. We show that it is a universal approximator for continuous
set-to-set functions. Experimental results on point-clouds show comparable or
better accuracy with significantly reduced computational complexity compared to
the dense transformer or alternative sparse attention schemes.
- Abstract(参考訳): スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。
しかし、この置換変種演算は集合への直接適用には適さない。
本稿では,余分な帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
サンプル変換器はランダム要素サンプリングを導入し, ランダムに点集合をサブセットに分割し, その後, 各サブセットに共有ハミルトン自己アテンション機構を適用する。
全体のアテンション機構は完全なアテンショングラフにおいてハミルトニアンサイクルと見なすことができ、点集合要素の置換はランダムにサンプリングされたハミルトニアンサイクルと等価である。
このメカニズムは、O(n^2)$高密度注意接続のモンテカルロシミュレーションを実装している。
連続的な集合対集合関数に対する普遍近似であることを示す。
点雲実験の結果、高密度変圧器や別のスパースアテンション方式と比較して計算複雑性を著しく低減し、比較または精度が向上した。
関連論文リスト
- Universal algorithm for transforming Hamiltonian eigenvalues [0.8192907805418581]
我々は、その固有状態を不変に保ちながら、その固有値を変換することで、ハミルトニアンを操作する新しい方法を提供する。
我々は、未知のハミルトニアンの固有値上の任意の所望の関数を決定的に実装する普遍的アルゴリズムを開発する。
補助量子ビットを加えることなく、正時を負時へ変換する普遍的アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-14T12:06:12Z) - Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。
後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
論文 参考訳(メタデータ) (2023-12-06T21:09:18Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳(メタデータ) (2023-08-31T17:57:50Z) - Leveraging Hamiltonian Simulation Techniques to Compile Operations on
Bosonic Devices [0.18374319565577155]
特定の操作のクラスを実現するために,厳密に証明されたエラー境界を用いた解析的手法を提案する。
本研究は、ハイブリットボソン量子ビットデバイスをよりよく制御するために、ハミルトンシミュレーションの手法を適用する方法を示す。
論文 参考訳(メタデータ) (2023-03-27T18:41:47Z) - Are Neighbors Enough? Multi-Head Neural n-gram can be Alternative to
Self-attention [27.850970793739933]
Transformer の自己注意を Multi-head Neural $n$-gram に置き換えることで,Transformer よりも同等あるいは優れた性能が得られることを示す。
提案手法の様々な解析から,マルチヘッドニューラル$n$-gramが自己注意に相補的であることがわかった。
論文 参考訳(メタデータ) (2022-07-27T08:20:00Z) - Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。
既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。
自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
論文 参考訳(メタデータ) (2021-07-12T22:43:11Z) - Coherent randomized benchmarking [68.8204255655161]
独立サンプルではなく,異なるランダム配列の重ね合わせを用いることを示す。
これは、ベンチマーク可能なゲートに対して大きなアドバンテージを持つ、均一でシンプルなプロトコルにつながることを示す。
論文 参考訳(メタデータ) (2020-10-26T18:00:34Z) - $O(n)$ Connections are Expressive Enough: Universal Approximability of
Sparse Transformers [71.31712741938837]
注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。
また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
論文 参考訳(メタデータ) (2020-06-08T18:30:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。