論文の概要: xPerT: Extended Persistence Transformer

• arxiv url: http://arxiv.org/abs/2410.14193v1
• Date: Fri, 18 Oct 2024 06:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:10.431294
• Title: xPerT: Extended Persistence Transformer
• Title（参考訳）: xPerT: 拡張永続化変換器
• Authors: Sehun Kim,
• Abstract要約: 永続化図は、空間の位相的特徴を異なるスケールで捉えた永続ホモロジーのコンパクトな要約を提供する。 高いスケーラビリティを有するtextitExtended Persistence Transformer (xPerT) と呼ばれる新しいトランスアーキテクチャを提案する。 xPerTはGPUメモリ使用量を90%以上削減し、複数のデータセットの精度を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: A persistence diagram provides a compact summary of persistent homology, which captures the topological features of a space at different scales. However, due to its nature as a set, incorporating it as a feature into a machine learning framework is challenging. Several methods have been proposed to use persistence diagrams as input for machine learning models, but they often require complex preprocessing steps and extensive hyperparameter tuning. In this paper, we propose a novel transformer architecture called the \textit{Extended Persistence Transformer (xPerT)}, which is highly scalable than the compared to Persformer, an existing transformer for persistence diagrams. xPerT reduces GPU memory usage by over 90\% and improves accuracy on multiple datasets. Additionally, xPerT does not require complex preprocessing steps or extensive hyperparameter tuning, making it easy to use in practice. Our code is available at https://github.com/sehunfromdaegu/ECG_JEPA.
• Abstract（参考訳）: 永続化図は、空間の位相的特徴を異なるスケールで捉えた永続ホモロジーのコンパクトな要約を提供する。 しかし、セットとしての性質のため、それを機能として機械学習フレームワークに組み込むことは難しい。 機械学習モデルの入力として永続化ダイアグラムを使用する方法がいくつか提案されているが、複雑な前処理ステップと広範なハイパーパラメータチューニングを必要とすることが多い。 本稿では,既存の永続化ダイアグラム用変換器であるPersformerと比較して,スケーラブルな新しい変換器アーキテクチャである \textit{Extended Persistence Transformer (xPerT)} を提案する。 xPerTはGPUメモリ使用量を90%以上削減し、複数のデータセットの精度を向上させる。 さらに、xPerTは複雑な前処理ステップや広範なハイパーパラメータチューニングを必要としないため、実際は使いやすくなっている。 私たちのコードはhttps://github.com/sehunfromdaegu/ECG_JEPAで利用可能です。

関連論文リスト

• TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters [102.1116808722299]
  TokenFormerは、Transformerをスケールするためのスケーラブルなアーキテクチャです。 モデルパラメータをトークンとして扱うことで、トランスフォーマーのすべての線形射影を置き換える。 我々のモデルは、新しいキー値パラメータペアを漸進的に追加することで、124Mから1.4Bパラメータにスケールする。
  論文  参考訳（メタデータ） (2024-10-30T16:19:00Z)
• Divide et Impera: Multi-Transformer Architectures for Complex NLP-Tasks [44.99833362998488]
  複雑なタスクを単純なサブタスクに分割する手法を提案する。 複数のトランスモデルは、それぞれ1つのサブタスクに微調整され、複雑なタスクを達成するために並べられる。 これにより、微調整データセットのコンパイルが簡単になり、全体的な可制御性が向上する。
  論文  参考訳（メタデータ） (2023-10-25T18:00:15Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Fourier Transformer: Fast Long Range Modeling by Removing Sequence Redundancy with FFT Operator [24.690247474891958]
  フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。 本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。 CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
  論文  参考訳（メタデータ） (2023-05-24T12:33:06Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• MISSU: 3D Medical Image Segmentation via Self-distilling TransUNet [55.16833099336073]
  医用画像セグメンテーションのためのトランスフォーマーベースUNetを提案する。 グローバルな意味情報と局所的な空間的詳細特徴を同時に学習する。 MISSUは従来の最先端手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2022-06-02T07:38:53Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer [11.310502327308575]
  自己回帰型言語モデルは、厳しい語彙制約下ではうまく機能しない。 プログレッシブ挿入ベースのトランスフォーマーはこの制限を克服することができる。 Entity-constrained insertion transformer (ENCONTER) を提案する。 実験の結果,ENCONTERは他のベースラインモデルよりも性能が優れていることがわかった。
  論文  参考訳（メタデータ） (2021-03-17T10:24:10Z)
• RealFormer: Transformer Likes Residual Attention [5.841046725396454]
  RealFormerはシンプルなResidual Attention Layer Transformerアーキテクチャである。 これは、Masked Language Modeling、GLUE、SQuADなどのタスクのスペクトルで正規トランスフォーマーを大幅に上回っています。
  論文  参考訳（メタデータ） (2020-12-21T23:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。