論文の概要: Point Cloud Transformers applied to Collider Physics
- arxiv url: http://arxiv.org/abs/2102.05073v1
- Date: Tue, 9 Feb 2021 19:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 14:24:24.658304
- Title: Point Cloud Transformers applied to Collider Physics
- Title(参考訳): 衝突物理に応用した点雲変換器
- Authors: Vinicius Mikuni, Florencia Canelli
- Abstract要約: 本研究では, 衝突イベントに起因する粒子の無秩序集合にトランスフォーマーアーキテクチャの利点を組み込む手法として, Point Cloud Transformer と呼ばれる改良されたトランスフォーマーネットワークを適用した。
提案手法を他の手法と比較するため,高沸点粒子に対するジェットタグの適用について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Methods for processing point cloud information have seen a great success in
collider physics applications. One recent breakthrough in machine learning is
the usage of Transformer networks to learn semantic relationships between
sequences in language processing. In this work, we apply a modified Transformer
network called Point Cloud Transformer as a method to incorporate the
advantages of the Transformer architecture to an unordered set of particles
resulting from collision events. To compare the performance with other
strategies, we study jet-tagging applications for highly-boosted particles.
- Abstract(参考訳): 点雲情報を処理する手法は、衝突器物理学の応用において大きな成功を収めている。
機械学習における最近のブレークスルーの1つは、言語処理におけるシーケンス間の意味的関係を学習するTransformerネットワークの使用である。
本研究では, 衝突イベントに起因する粒子の無秩序集合にトランスフォーマーアーキテクチャの利点を組み込む手法として, Point Cloud Transformer と呼ばれる改良型トランスフォーマーネットワークを適用した。
この性能を他の戦略と比較するために、高ブースト粒子のジェットタグングアプリケーションについて検討する。
関連論文リスト
- Adversarial Robustness of In-Context Learning in Transformers for Linear Regression [23.737606860443705]
本研究は,線形回帰タスクの設定に焦点をあてたテキストハイザック攻撃に対するトランスフォーマにおける文脈内学習の脆弱性について検討する。
まず,一層線形変圧器が非破壊的であり,任意の予測を出力できることを示す。
次に, 逆行訓練は, ファインタニング時にのみ適用しても, ハイジャック攻撃に対するトランスフォーマーの堅牢性を高めることを実証する。
論文 参考訳(メタデータ) (2024-11-07T21:25:58Z) - Differential Transformer [99.5117269150629]
トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。
Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。
ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
論文 参考訳(メタデータ) (2024-10-07T17:57:38Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳(メタデータ) (2023-06-01T20:27:01Z) - Applying Plain Transformers to Real-World Point Clouds [0.0]
この研究は、現実世界のポイントクラウド理解におけるプレーントランスフォーマーを再考する。
誘導バイアスの欠如による性能ギャップを解消するため,マスク付きオートエンコーダ(MAE)を用いた自己教師型事前訓練について検討した。
我々のモデルは,S3DISデータセットのセマンティックセグメンテーションとScanNetデータセットのオブジェクト検出において,計算コストの低いSOTA結果を実現する。
論文 参考訳(メタデータ) (2023-02-28T21:06:36Z) - Pix4Point: Image Pretrained Standard Transformers for 3D Point Cloud
Understanding [62.502694656615496]
本稿では、プログレッシブ・ポイント・パッチ・エンベディングと、PViTと呼ばれる新しいポイント・クラウド・トランスフォーマーモデルを提案する。
PViTはTransformerと同じバックボーンを共有しているが、データに対して空腹が少ないことが示されており、Transformerは最先端技術に匹敵するパフォーマンスを実現することができる。
我々は、イメージ領域で事前訓練されたトランスフォーマーを活用して、下流のクラウド理解を強化する、シンプルで効果的なパイプライン「Pix4Point」を定式化します。
論文 参考訳(メタデータ) (2022-08-25T17:59:29Z) - PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers [81.71904691925428]
本稿では,ポイントクラウドの完了をセット・ツー・セットの翻訳問題として再定義する手法を提案する。
我々はまた、ポイントクラウド補完のためにトランスフォーマーエンコーダデコーダアーキテクチャを採用するPoinTrと呼ばれる新しいモデルも設計している。
提案手法は,新しいベンチマークと既存ベンチマークの両方において,最先端の手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-19T17:58:56Z) - Transformer-F: A Transformer network with effective methods for learning
universal sentence representation [8.225067988604351]
Transformerモデルは、自然言語処理で文表現に広く使われている。
本稿では,トランスフォーマーの性能向上のための2つの手法を提案する。
論文 参考訳(メタデータ) (2021-07-02T03:20:11Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z) - UniDrop: A Simple yet Effective Technique to Improve Transformer without
Extra Cost [110.67392881417777]
トランスフォーマーアーキテクチャは、豊富な自然言語処理タスクで大きな成功を収めます。
ドロップアウトなどのシンプルな手法で、慎重な設計でモデル性能を大幅に向上させることができます。
具体的には,3種類のドロップアウト手法を統一するUniDropという手法を提案する。
論文 参考訳(メタデータ) (2021-04-11T07:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。