論文の概要: Sampled Transformer for Point Sets

• arxiv url: http://arxiv.org/abs/2302.14346v1
• Date: Tue, 28 Feb 2023 06:38:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 17:46:01.105333
• Title: Sampled Transformer for Point Sets
• Title（参考訳）: 点集合用サンプル変圧器
• Authors: Shidi Li, Christian Walder, Alexander Soen, Lexing Xie, Miaomiao Liu
• Abstract要約: スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。 我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
• 参考スコア（独自算出の注目度）: 80.66097006145999
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sparse transformer can reduce the computational complexity of the self-attention layers to $O(n)$, whilst still being a universal approximator of continuous sequence-to-sequence functions. However, this permutation variant operation is not appropriate for direct application to sets. In this paper, we proposed an $O(n)$ complexity sampled transformer that can process point set elements directly without any additional inductive bias. Our sampled transformer introduces random element sampling, which randomly splits point sets into subsets, followed by applying a shared Hamiltonian self-attention mechanism to each subset. The overall attention mechanism can be viewed as a Hamiltonian cycle in the complete attention graph, and the permutation of point set elements is equivalent to randomly sampling Hamiltonian cycles. This mechanism implements a Monte Carlo simulation of the $O(n^2)$ dense attention connections. We show that it is a universal approximator for continuous set-to-set functions. Experimental results on point-clouds show comparable or better accuracy with significantly reduced computational complexity compared to the dense transformer or alternative sparse attention schemes.
• Abstract（参考訳）: スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。 しかし、この置換変種演算は集合への直接適用には適さない。 本稿では,余分な帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。 サンプル変換器はランダム要素サンプリングを導入し, ランダムに点集合をサブセットに分割し, その後, 各サブセットに共有ハミルトン自己アテンション機構を適用する。 全体のアテンション機構は完全なアテンショングラフにおいてハミルトニアンサイクルと見なすことができ、点集合要素の置換はランダムにサンプリングされたハミルトニアンサイクルと等価である。 このメカニズムは、O(n^2)$高密度注意接続のモンテカルロシミュレーションを実装している。 連続的な集合対集合関数に対する普遍近似であることを示す。 点雲実験の結果、高密度変圧器や別のスパースアテンション方式と比較して計算複雑性を著しく低減し、比較または精度が向上した。

関連論文リスト

• Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
  本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。 提案手法を拡張・結合する新しい手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-02-01T19:47:31Z)
• Universal algorithm for transforming Hamiltonian eigenvalues [0.7499722271664144]
  我々は、その固有状態を不変に保ちながら、その固有値を変換することで、ハミルトニアンを操作する新しい方法を提供する。 我々は、未知のハミルトニアンの固有値上の任意の所望の関数を決定的に実装する普遍的アルゴリズムを開発する。 補助量子ビットを加えることなく、正時を負時へ変換する普遍的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-14T12:06:12Z)
• Improving Gradient-guided Nested Sampling for Posterior Inference [47.08481529384556]
  本稿では,パフォーマンス,汎用的勾配誘導型ネストサンプリングアルゴリズム,$tt GGNS$を提案する。 後部分布から大量の高品質なサンプルを得るために,ネストサンプリングと生成フローネットワークを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2023-12-06T21:09:18Z)
• Are Neighbors Enough? Multi-Head Neural n-gram can be Alternative to Self-attention [27.850970793739933]
  Transformer の自己注意を Multi-head Neural $n$-gram に置き換えることで,Transformer よりも同等あるいは優れた性能が得られることを示す。 提案手法の様々な解析から,マルチヘッドニューラル$n$-gramが自己注意に相補的であることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T08:20:00Z)
• Stochastic Zeroth order Descent with Structured Directions [10.604744518360464]
  我々は, 有限差分法であるStructured Zeroth Order Descent (SSZD)を導入・解析し, 集合 $lleq d 方向の勾配を近似し, $d は周囲空間の次元である。 凸凸に対して、すべての$c1/2$に対して$O( (d/l) k-c1/2$)$ 上の関数の収束はほぼ確実に証明する。
  論文  参考訳（メタデータ） (2022-06-10T14:00:06Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Coherent randomized benchmarking [68.8204255655161]
  独立サンプルではなく,異なるランダム配列の重ね合わせを用いることを示す。 これは、ベンチマーク可能なゲートに対して大きなアドバンテージを持つ、均一でシンプルなプロトコルにつながることを示す。
  論文  参考訳（メタデータ） (2020-10-26T18:00:34Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。