論文の概要: Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical Image Segmentation

• arxiv url: http://arxiv.org/abs/2211.09533v1
• Date: Thu, 17 Nov 2022 13:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 17:13:52.899980
• Title: Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical Image Segmentation
• Title（参考訳）: 医用画像分割用ハイブリッド軸方向変換器
• Authors: Yiyue Hu and Lei Zhang and Nan Mu and Lei Liu
• Abstract要約: 医用画像セグメンテーションのための位置情報を用いた本質的帰納バイアスを探索するパラメータ効率変換器を提案する。 そこで本研究では,空間画素情報と相対位置情報を帰納バイアスとして利用できるハイブリッド軸アテンション(HAA)を提案する。
• 参考スコア（独自算出の注目度）: 10.441315305453504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved remarkable success in medical image analysis owing to their powerful capability to use flexible self-attention mechanism. However, due to lacking intrinsic inductive bias in modeling visual structural information, they generally require a large-scale pre-training schedule, limiting the clinical applications over expensive small-scale medical data. To this end, we propose a parameter-efficient transformer to explore intrinsic inductive bias via position information for medical image segmentation. Specifically, we empirically investigate how different position encoding strategies affect the prediction quality of the region of interest (ROI), and observe that ROIs are sensitive to the position encoding strategies. Motivated by this, we present a novel Hybrid Axial-Attention (HAA), a form of position self-attention that can be equipped with spatial pixel-wise information and relative position information as inductive bias. Moreover, we introduce a gating mechanism to alleviate the burden of training schedule, resulting in efficient feature selection over small-scale datasets. Experiments on the BraTS and Covid19 datasets prove the superiority of our method over the baseline and previous works. Internal workflow visualization with interpretability is conducted to better validate our success.
• Abstract（参考訳）: トランスフォーマーは、柔軟なセルフアテンション機構を使用する能力により、医用画像解析において顕著な成功を収めている。 しかしながら、視覚構造情報のモデリングにおける内在的な帰納的バイアスが欠如しているため、一般的には大規模な事前訓練スケジュールが必要となり、高価な小規模医療データに対する臨床応用が制限される。 そこで本研究では,医用画像分割のための位置情報を用いた本質的帰納バイアスを探索するパラメータ効率変換器を提案する。 具体的には、異なる位置符号化戦略が関心領域(ROI)の予測品質に与える影響を実証的に検討し、ROIが位置符号化戦略に敏感であることを観察する。 そこで本研究では,空間的画素情報と相対的位置情報を帰納バイアスとして備えることができる位置自己注意型ハイブリッド軸アテンション(HAA)を提案する。 さらに,学習スケジュールの負担を軽減するゲーティング機構を導入し,小規模データセット上での効率的な特徴選択を実現する。 BraTSとCovid19データセットの実験は、我々の手法がベースラインや以前の研究よりも優れていることを証明している。 私たちの成功をよりよく検証するために、解釈可能な内部ワークフローの可視化が実行されます。

関連論文リスト

• Boosting Medical Image Segmentation Performance with Adaptive Convolution Layer [6.887244952811574]
  UCTransNetのような先進的なディープラーニングモデルに先立つ適応層を提案する。 我々のアプローチは、多様な解剖学的構造と微妙な画像の詳細を扱うネットワークの能力を高める。 従来のCNNよりも、同じ数のパラメータで固定されたカーネルサイズで一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-04-17T13:18:39Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• Explainable Transformer Prototypes for Medical Diagnoses [7.680878119988482]
  変圧器の自己注意機能は、分類過程において重要な領域を特定することに寄与する。 我々の研究は、「ピクセル」ではなく「領域」間の相関を裏付けるユニークな注意ブロックを革新する試みである。 大規模なNIH胸部X線データセットにおいて, 定量的, 定性的手法を併用し, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-03-11T17:46:21Z)
• SeUNet-Trans: A Simple yet Effective UNet-Transformer Model for Medical Image Segmentation [0.0]
  医用画像セグメンテーションのためのシンプルなUNet-Transformer(seUNet-Trans)モデルを提案する。 提案手法では,UNetモデルを特徴抽出器として設計し,入力画像から複数の特徴マップを生成する。 UNetアーキテクチャと自己認識機構を活用することで、我々のモデルはローカルとグローバルの両方のコンテキスト情報を保存するだけでなく、入力要素間の長距離依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2023-10-16T01:13:38Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Transformer Lesion Tracker [12.066026343488453]
  我々はTransformer Lesion Tracker(TLT)と呼ばれるトランスフォーマーベースのアプローチを提案する。 我々はCAT(Cross Attention-based Transformer)を設計し、グローバル情報とローカル情報の両方を取り込み、特徴抽出を強化する。 我々は,提案手法の優位性を示すために,公開データセット上で実験を行い,モデルの性能が平均ユークリッド中心誤差を少なくとも14.3%改善したことを確認した。
  論文  参考訳（メタデータ） (2022-06-13T15:35:24Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Interactive Medical Image Segmentation with Self-Adaptive Confidence Calibration [10.297081695050457]
  本稿では,自己適応信頼度校正(MECCA)を用いた対話型メダカルセグメンテーションという対話型セグメンテーションフレームワークを提案する。 新規な行動に基づく信頼ネットワークを通じて評価を確立し、MARLから補正動作を得る。 種々の医用画像データセットに対する実験結果から,提案アルゴリズムの有意な性能が示された。
  論文  参考訳（メタデータ） (2021-11-15T12:38:56Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。