論文の概要: Surface Vision Transformers: Flexible Attention-Based Modelling of Biomedical Surfaces

• arxiv url: http://arxiv.org/abs/2204.03408v1
• Date: Thu, 7 Apr 2022 12:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 15:57:46.670106
• Title: Surface Vision Transformers: Flexible Attention-Based Modelling of Biomedical Surfaces
• Title（参考訳）: 表面視覚トランスフォーマー:生体表面の柔軟な注意に基づくモデリング
• Authors: Simon Dahan, Hao Xu, Logan Z. J. Williams, Abdulah Fawaz, Chunhui Yang, Timothy S. Coalson, Michelle C. Williams, David E. Newby, A. David Edwards, Matthew F. Glasser, Alistair A. Young, Daniel Rueckert, Emma C. Robinson
• Abstract要約: コンピュータビジョンタスクにおけるビジョントランスフォーマー(ViT)の最近の最先端パフォーマンスは、ViTが畳み込みニューラルネットワークの局所的な特徴学習操作を置き換えることを実証している。 表面学習の課題をシーケンシャル・ツー・シーケンス・ラーニングの課題として再検討することで,ViTを表面へ拡張する。 本手法は,様々な生体表面ドメインとタスクに対して検証する。
• 参考スコア（独自算出の注目度）: 9.425082767553935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent state-of-the-art performances of Vision Transformers (ViT) in computer vision tasks demonstrate that a general-purpose architecture, which implements long-range self-attention, could replace the local feature learning operations of convolutional neural networks. In this paper, we extend ViTs to surfaces by reformulating the task of surface learning as a sequence-to-sequence learning problem, by proposing patching mechanisms for general surface meshes. Sequences of patches are then processed by a transformer encoder and used for classification or regression. We validate our method on a range of different biomedical surface domains and tasks: brain age prediction in the developing Human Connectome Project (dHCP), fluid intelligence prediction in the Human Connectome Project (HCP), and coronary artery calcium score classification using surfaces from the Scottish Computed Tomography of the Heart (SCOT-HEART) dataset, and investigate the impact of pretraining and data augmentation on model performance. Results suggest that Surface Vision Transformers (SiT) demonstrate consistent improvement over geometric deep learning methods for brain age and fluid intelligence prediction and achieve comparable performance on calcium score classification to standard metrics used in clinical practice. Furthermore, analysis of transformer attention maps offers clear and individualised predictions of the features driving each task. Code is available on Github: https://github.com/metrics-lab/surface-vision-transformers
• Abstract（参考訳）: コンピュータビジョンタスクにおける視覚トランスフォーマー(vit)の最近の最先端性能は、長距離自己アテンションを実装する汎用アーキテクチャが畳み込みニューラルネットワークの局所的特徴学習操作を置き換えることを証明している。 本稿では,一般表面メッシュへのパッチ適用機構を提案することにより,シーケンス・ツー・シーケンス学習問題としての表面学習のタスクを再構成することで,vitを表面へ拡張する。 パッチのシーケンスは変換器エンコーダで処理され、分類や回帰に使われる。 我々は,Human Connectome Project (HCP) における脳年齢予測,Human Connectome Project (HCP) における流体情報予測,Scottish Computed Tomography of the Heart (SCOT-HEART) データセットを用いた冠状動脈カルシウムスコア分類など,様々なバイオメディカル表面領域と課題について検証し,事前学習とデータ拡張がモデル性能に与える影響について検討した。 その結果,Surface Vision Transformers (SiT) は,脳年齢および知能予測のための幾何的深層学習法よりも一貫した改善を示し,臨床実習で使用される標準指標とカルシウムスコア分類において同等の性能を示した。 さらに、トランスフォーマー注意マップの解析は、各タスクを駆動する特徴の明確かつ個別化された予測を提供する。 コードはgithubで入手できる。 https://github.com/metrics-lab/surface-vision-transformers

関連論文リスト

• Benchmark on Drug Target Interaction Modeling from a Structure Perspective [48.60648369785105]
  薬物と標的の相互作用の予測は、薬物の発見と設計に不可欠である。 グラフニューラルネットワーク(GNN)やトランスフォーマーに基づく最近の手法は、さまざまなデータセットで例外的なパフォーマンスを示している。 我々は,GNNベースと暗黙的(トランスフォーマーベース)構造学習アルゴリズムを多用することにより,構造の観点からの薬物-標的相互作用モデリングの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2024-07-04T16:56:59Z)
• A self-supervised framework for learning whole slide representations [52.774822784847565]
  我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。 バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
  論文  参考訳（メタデータ） (2024-02-09T05:05:28Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders [10.097983222759884]
  表面仮面オートエンコーダ(sMAE)と表面仮面オートエンコーダ(MAE) これらのモデルは、皮質発達と構造関数の強力な潜在表現を学習することにより、入力のマスクされたバージョンから皮質特徴写像を再構築するように訓練されている。 以上の結果から, (v)sMAE事前学習モデルでは, 複数のタスクにおける表現型予測性能が約26%向上し,スクラッチからトレーニングしたモデルに対してより高速な収束が得られた。
  論文  参考訳（メタデータ） (2023-08-10T10:01:56Z)
• Masked Pre-Training of Transformers for Histology Image Analysis [4.710921988115685]
  デジタル病理学では、がん診断や予後予測などの応用に全スライド画像(WSI)が広く用いられている。 パッチ間の空間的関係を保ちながら、WSIの広い領域を符号化するための有望な方法として、ビジュアルトランスフォーマーモデルが登場した。 本稿では,この問題を解決するためにラベル付きデータを使わずにトランスフォーマーモデルをトレーニングするためのプレテキストタスクを提案する。 我々のモデルであるMaskHITは、トランスフォーマー出力を用いて、マスクしたパッチを再構築し、それらの位置と視覚的特徴に基づいて代表的組織学的特徴を学習する。
  論文  参考訳（メタデータ） (2023-04-14T23:56:49Z)
• The Multiscale Surface Vision Transformer [10.833580445244094]
  表面深層学習のためのバックボーンアーキテクチャとして,Multiscale Surface Vision Transformer (MS-SiT)を導入した。 以上の結果から,MS-SiTは新生児の表現型予測タスクにおいて,既存の表面深層学習法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-21T15:00:17Z)
• Surface Analysis with Vision Transformers [7.4330073456005685]
  ビジョントランスフォーマー(ViT)の最近の最先端性能は、自己注意機能を実装した汎用アーキテクチャが、CNNの局所的な特徴学習操作を置き換えることを実証している。 コンピュータビジョンにおけるアテンション・モデリングの成功により、表面学習のタスクをシーケンス・ツー・シーケンス問題として再構成し、VTを表面へ拡張し、表面メッシュのパッチ機構を提案する。
  論文  参考訳（メタデータ） (2022-05-31T14:41:01Z)
• Surface Vision Transformers: Attention-Based Modelling applied to Cortical Analysis [8.20832544370228]
  球面多様体上に投影された任意の曲面データを研究するために、ドメインに依存しないアーキテクチャを導入する。 ビジョントランスモデルは、連続したマルチヘッド自己アテンション層を介してパッチのシーケンスを符号化する。 実験の結果、SiTは一般的に表面CNNよりも優れており、登録データと未登録データで比較可能であることがわかった。
  論文  参考訳（メタデータ） (2022-03-30T15:56:11Z)
• Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
  ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。 提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
  論文  参考訳（メタデータ） (2021-12-23T12:17:47Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Surface Warping Incorporating Machine Learning Assisted Domain Likelihood Estimation: A New Paradigm in Mine Geology Modelling and Automation [68.8204255655161]
  新たに取得した破砕孔データによって課される地球化学的および空間的制約に基づいて, モデル表面を再構成するバイーシアンワープ法が提案されている。 本稿では,このワーピングフレームワークに機械学習を組み込むことにより,可能性の一般化を図る。 その基礎は、p(g|c) が p(y(c)|g と似た役割を果たすような地質領域の確率のベイズ計算によって構成される。
  論文  参考訳（メタデータ） (2021-02-15T10:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。