Fugu-MT 論文翻訳(概要): Transformer-based end-to-end classification of variable-length volumetric data

論文の概要: Transformer-based end-to-end classification of variable-length volumetric data

arxiv url: http://arxiv.org/abs/2307.06666v2
Date: Fri, 21 Jul 2023 12:15:16 GMT
ステータス: 処理完了
システム内更新日: 2023-07-24 15:21:33.578526
Title: Transformer-based end-to-end classification of variable-length volumetric data
Title（参考訳）: 変圧器を用いた可変長体積データのエンドツーエンド分類
Authors: Marzieh Oghbaie, Teresa Araujo, Taha Emre, Ursula Schmidt-Erfurth, Hrvoje Bogunovic
Abstract要約: 可変長のデータを効率的に分類できるエンドツーエンドのTransformerベースのフレームワークを提案する。網膜CTボリューム分類における提案手法の評価を行い,9クラス診断課題における平均改善率21.96%を達成した。
参考スコア（独自算出の注目度）: 4.053910482393197
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The automatic classification of 3D medical data is memory-intensive. Also, variations in the number of slices between samples is common. Na\"ive solutions such as subsampling can solve these problems, but at the cost of potentially eliminating relevant diagnosis information. Transformers have shown promising performance for sequential data analysis. However, their application for long sequences is data, computationally, and memory demanding. In this paper, we propose an end-to-end Transformer-based framework that allows to classify volumetric data of variable length in an efficient fashion. Particularly, by randomizing the input volume-wise resolution(#slices) during training, we enhance the capacity of the learnable positional embedding assigned to each volume slice. Consequently, the accumulated positional information in each positional embedding can be generalized to the neighbouring slices, even for high-resolution volumes at the test time. By doing so, the model will be more robust to variable volume length and amenable to different computational budgets. We evaluated the proposed approach in retinal OCT volume classification and achieved 21.96% average improvement in balanced accuracy on a 9-class diagnostic task, compared to state-of-the-art video transformers. Our findings show that varying the volume-wise resolution of the input during training results in more informative volume representation as compared to training with fixed number of slices per volume.
Abstract（参考訳）: 3D医療データの自動分類はメモリ集約的である。また、サンプル間のスライス数の変化も一般的である。サブサンプリングのようなna\"iveなソリューションはこれらの問題を解決することができるが、関連する診断情報を排除するコストがかかる。トランスフォーマーはシーケンシャルなデータ分析に有望な性能を示した。しかし、長いシーケンスに対するそれらの応用は、データ、計算、メモリ要求である。本稿では,可変長のボリュームデータを効率的に分類できるエンドツーエンドトランスフォーマーベースのフレームワークを提案する。特に,学習中に入力された体積分解能(#スライス)をランダム化することにより,各ボリュームスライスに割り当てられた学習可能な位置埋め込みの能力を高める。これにより、テスト時に高解像度ボリュームであっても、各位置埋め込みにおける累積位置情報を隣り合うスライスに一般化することができる。そうすることで、モデルは可変体積長に対してより堅牢になり、異なる計算予算に対処できる。我々は、網膜CTボリューム分類における提案手法の評価を行い、9クラス診断タスクにおける平均精度を21.96%向上させた。以上の結果から, トレーニング中の入力の体積分解能の変化は, 1体積あたりのスライス数を一定に設定したトレーニングに比べて, より情報量的な表現をもたらすことがわかった。

関連論文リスト

ENACT: Entropy-based Clustering of Attention Input for Improving the Computational Performance of Object Detection Transformers [0.0]
トランスフォーマーは、視覚に基づく物体検出の問題において、精度で競合性能を示す。本稿では,そのエントロピーに基づいて変換器の入力をクラスタリングする。クラスタリングは、トランスへの入力として与えられるデータのサイズを削減し、トレーニング時間とGPUメモリ使用量を削減する。
論文参考訳（メタデータ） (2024-09-11T18:03:59Z)
AdaSelection: Accelerating Deep Learning Training through Data Subsampling [27.46630703428186]
適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
論文参考訳（メタデータ） (2023-06-19T07:01:28Z)
Randomized Quantization: A Generic Augmentation for Data Agnostic Self-supervised Learning [89.00646449740606]
自己監督型表現学習は、データの一部を保持し、残りの部分から予測するようにネットワークに指示するパラダイムに従っている。データ拡張は、情報ギャップを作るためのコアにあります。本稿では,精度の冗長性を利用した汎用データ拡張のためのチャネル次元について検討する。
論文参考訳（メタデータ） (2022-12-19T18:59:57Z)
FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders [2.969705152497174]
本稿では,データの本質的次元推定(IDE)と,VAEが学習した潜在表現について検討する。平均値とサンプル値との平均値との差は,数段階の訓練で潜在空間に受動的変数が存在することが判明した。 FONDUE: 平均およびサンプル表現が分岐し始めた後, 遅延次元の個数を素早く見つけるアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-09-26T15:59:54Z)
CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文参考訳（メタデータ） (2022-07-31T21:39:15Z)
SVoRT: Iterative Transformer for Slice-to-Volume Registration in Fetal Brain MRI [5.023544755441559]
合成変換データに基づいて学習したトランスフォーマーを用いた新しいスライス・ツー・ボリューム登録法を提案する。本モデルでは,スライス間の関係を自動的に検出し,他のスライス情報を用いてスライス間の変換を予測する。また, 重度胎児運動下での3次元再構成の精度向上のためのモデルの有効性を示すために, 実世界のMRIデータを用いた実験を行った。
論文参考訳（メタデータ） (2022-06-22T01:55:42Z)
A Volumetric Transformer for Accurate 3D Tumor Segmentation [25.961484035609672]
本稿では,医療画像セグメンテーションのためのトランスフォーマーアーキテクチャを提案する。 TransformerはU字型のボリュームエンコーダデコーダ設計で、入力ボクセル全体を処理している。モデルがデータセット間でより良い表現を転送し、データの破損に対して堅牢であることを示します。
論文参考訳（メタデータ） (2021-11-26T02:49:51Z)
Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文参考訳（メタデータ） (2021-04-05T21:44:00Z)
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search [84.94597821711808]
我々は,PoWER-BERT(Goyal et al., 2020)を拡張し,一発訓練後に様々な推論シナリオに使用できる長適応変換器を提案する。我々は,任意の計算予算の下で,精度を最大化し,効率の指標を最小化する長さ構成を求めるために,多目的進化探索を行う。提案手法の有効性を実証的に検証し,各種設定下での精度・効率のトレードオフを実証する。
論文参考訳（メタデータ） (2020-10-14T12:28:08Z)
Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。可変スキップは、10-100$timesの効率向上をもたらすことを示す。
論文参考訳（メタデータ） (2020-07-10T19:01:40Z)
Set Based Stochastic Subsampling [85.5331107565578]
本稿では,2段階間ニューラルサブサンプリングモデルを提案する。画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
論文参考訳（メタデータ） (2020-06-25T07:36:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。