論文の概要: Multiset Transformer: Advancing Representation Learning in Persistence Diagrams
- arxiv url: http://arxiv.org/abs/2411.14662v1
- Date: Fri, 22 Nov 2024 01:38:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 18:36:38.938482
- Title: Multiset Transformer: Advancing Representation Learning in Persistence Diagrams
- Title（参考訳）: マルチセット変換器:永続図形における表現学習の促進
- Authors: Minghua Wang, Ziyun Huang, Jinhui Xu,
- Abstract要約: マルチセットトランスフォーマー(Multiset Transformer)は、マルチセットを入力として特別に設計されたアテンションメカニズムを利用するニューラルネットワークである。
このアーキテクチャは、マルチセット強化された注意とプール分解スキームを統合し、同変層にまたがる多重性を維持できる。
実験により、Multiset Transformerは、永続図表表現学習の領域において、既存のニューラルネットワーク手法よりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 11.512742322405906
- License:
- Abstract: To improve persistence diagram representation learning, we propose Multiset Transformer. This is the first neural network that utilizes attention mechanisms specifically designed for multisets as inputs and offers rigorous theoretical guarantees of permutation invariance. The architecture integrates multiset-enhanced attentions with a pool-decomposition scheme, allowing multiplicities to be preserved across equivariant layers. This capability enables full leverage of multiplicities while significantly reducing both computational and spatial complexity compared to the Set Transformer. Additionally, our method can greatly benefit from clustering as a preprocessing step to further minimize complexity, an advantage not possessed by the Set Transformer. Experimental results demonstrate that the Multiset Transformer outperforms existing neural network methods in the realm of persistence diagram representation learning.
- Abstract（参考訳）: 永続化図表現学習を改善するために,マルチセット変換器を提案する。
これは、マルチセットを入力として特別に設計した注意機構を利用し、置換不変性の厳密な理論的保証を提供する最初のニューラルネットワークである。
このアーキテクチャは、マルチセット強化された注意とプール分解スキームを統合し、同変層にまたがる多重性を維持できる。
この能力は、Set Transformerと比較して計算量と空間的複雑さの両方を著しく低減しつつ、多重度を完全に活用することができる。
さらに,本手法は,Set Transformerが持たない利点である複雑性をさらに最小化するための前処理ステップとして,クラスタリングを大いに活用することができる。
実験により、Multiset Transformerは、永続図表表現学習の領域において、既存のニューラルネットワーク手法よりも優れていることが示された。
関連論文リスト
- Multi-Scale Implicit Transformer with Re-parameterize for
Arbitrary-Scale Super-Resolution [2.4865475189445405]
マルチスケールインプリシットトランス(MSIT)
MSITは、MSNO(Multi-scale Neural Operator)とMSSA(Multi-scale Self-Attention)から構成される。
論文 参考訳（メタデータ） (2024-03-11T09:23:20Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-02T20:44:45Z) - Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。
我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。
提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
論文 参考訳（メタデータ） (2022-03-15T06:52:25Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks [0.0]
本稿では,多経路完全連結パターン(MPFC)という概念を導入し,位相パターンの相互依存性,精度,効率性を再考する。
MPFCにインスパイアされた動的クローントランス (DCT) と呼ばれるデュアルブランチモジュールを提案し、入力から複数の複製を生成する。
論文 参考訳（メタデータ） (2021-06-12T13:42:28Z) - Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。
提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文 参考訳（メタデータ） (2021-05-29T05:26:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。