論文の概要: A Study on Context Length and Efficient Transformers for Biomedical Image Analysis

• arxiv url: http://arxiv.org/abs/2501.00619v1
• Date: Tue, 31 Dec 2024 19:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:24.559624
• Title: A Study on Context Length and Efficient Transformers for Biomedical Image Analysis
• Title（参考訳）: 生体画像解析のための文脈長と効率的な変換器に関する研究
• Authors: Sarah M. Hooper, Hui Xue,
• Abstract要約: 生体画像解析における文脈長の影響について検討する。 最近提案した長文モデルの性能評価を行った。 この研究は、バイオメディカルイメージングにおける長期コンテキストモデルの可能性と課題を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 7.2644696188654
• License:
• Abstract: Biomedical imaging modalities often produce high-resolution, multi-dimensional images that pose computational challenges for deep neural networks. These computational challenges are compounded when training transformers due to the self-attention operator, which scales quadratically with context length. Recent developments in long-context models have potential to alleviate these difficulties and enable more efficient application of transformers to large biomedical images, although a systematic evaluation on this topic is lacking. In this study, we investigate the impact of context length on biomedical image analysis and we evaluate the performance of recently proposed long-context models. We first curate a suite of biomedical imaging datasets, including 2D and 3D data for segmentation, denoising, and classification tasks. We then analyze the impact of context length on network performance using the Vision Transformer and Swin Transformer by varying patch size and attention window size. Our findings reveal a strong relationship between context length and performance, particularly for pixel-level prediction tasks. Finally, we show that recent long-context models demonstrate significant improvements in efficiency while maintaining comparable performance, though we highlight where gaps remain. This work underscores the potential and challenges of using long-context models in biomedical imaging.
• Abstract（参考訳）: 生体医用画像モダリティは、ディープニューラルネットワークに計算課題をもたらす高解像度で多次元の画像を生成することが多い。 これらの計算課題は、文脈長と2次スケールの自己注意演算子による変圧器の訓練において複雑になる。 近年の長文モデルの進歩は、これらの困難を緩和し、大きなバイオメディカル画像へのトランスフォーマーのより効率的な適用を可能にする可能性があるが、この話題に関する体系的な評価は不十分である。 本研究では,バイオメディカル画像解析における文脈長の影響について検討し,最近提案された長文モデルの性能評価を行った。 まず,2Dおよび3Dデータを含むバイオメディカルイメージングデータセットの集合を,セグメンテーション,デノナイズ,分類タスクのためにキュレートする。 次に,Vision Transformer と Swin Transformer を用いて,異なるパッチサイズとアテンションウィンドウサイズでコンテキスト長がネットワーク性能に与える影響を分析する。 本研究は,特に画素レベルの予測タスクにおいて,文脈長と性能の関係が強いことを示す。 最後に,近年の長期コンテキストモデルでは,相似性能を維持しながら効率が大幅に向上していることを示す。 この研究は、バイオメディカルイメージングにおける長期コンテキストモデルの可能性と課題を浮き彫りにした。

関連論文リスト

• Toward Relative Positional Encoding in Spiking Transformers [52.62008099390541]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかをモデル化するバイオインスパイアネットワークである。 本稿では,スパイキング変換器における相対位置符号化(RPE)の近似手法を提案する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• FAN-Unet: Enhancing Unet with vision Fourier Analysis Block for Biomedical Image Segmentation [5.318153305245246]
  本稿では,Fourier Analysis Network(FAN)ベースのビジョンバックボーンとU-Netアーキテクチャの長所を組み合わせた,新しいアーキテクチャであるFAN-UNetを提案する。 提案したVision-FANレイヤは、FANレイヤと自己アテンションメカニズムを統合し、Fourier分析を活用して、モデルが長距離依存関係と周期的関係の両方を効果的にキャプチャすることを可能にする。
  論文  参考訳（メタデータ） (2024-11-28T07:53:47Z)
• QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
  医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。 この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。 バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
  論文  参考訳（メタデータ） (2024-03-19T17:57:24Z)
• MoViT: Memorizing Vision Transformers for Medical Image Analysis [13.541165687193581]
  トランスフォーマーベースのアーキテクチャのトレーニングとデプロイを成功させるために,大規模なデータセットの必要性を軽減するために,覚醒型ビジョントランスフォーマー(MoViT)を提案する。 MoViTはトレーニングデータのわずか3.0%でViTの競争性能に達することができる。
  論文  参考訳（メタデータ） (2023-03-27T19:12:02Z)
• Kartezio: Evolutionary Design of Explainable Pipelines for Biomedical Image Analysis [0.0]
  本稿では,透過的で容易に解釈可能な画像処理パイプラインを生成する計算戦略であるKartezioを紹介する。 それによって生成されたパイプラインは、インスタンスセグメンテーションタスクにおける最先端のDeep Learningアプローチに匹敵する精度を示す。 また、実世界の4つのユースケースにおけるセマンティックスとインスタンスセグメンテーションの問題を解決するためにKartezioをデプロイしました。
  論文  参考訳（メタデータ） (2023-02-28T17:02:35Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Transformers in Medical Imaging: A Survey [88.03790310594533]
  トランスフォーマーはいくつかのコンピュータビジョン問題に適用され、最先端の結果が得られた。 医療画像はまた、局所受容野を持つCNNと比較して、グローバルな文脈を捉えられるトランスフォーマーへの関心が高まっている。 本稿では,最近提案された建築設計から未解決問題に至るまで,医療画像におけるトランスフォーマーの応用について概説する。
  論文  参考訳（メタデータ） (2022-01-24T18:50:18Z)
• Transformer-Unet: Raw Image Processing with Unet [4.7944896477309555]
  Unetの機能マップの代わりに、生画像にトランスフォーマーモジュールを追加することで、Transformer-Unetを提案する。 実験では、エンド・ツー・エンドのネットワークを構築し、従来の多くのUnetベースのアルゴリズムよりもセグメンテーション結果を得る。
  論文  参考訳（メタデータ） (2021-09-17T09:03:10Z)
• TransMed: Transformers Advance Multi-modal Medical Image Classification [4.500880052705654]
  畳み込みニューラルネットワーク(CNN)は、医療画像解析タスクで非常に競争力のあるパフォーマンスを示しています。 トランスフォーマーはコンピュータビジョンに適用され、大規模なデータセットで顕著な成功を収めた。 TransMedはCNNとトランスフォーマーの利点を組み合わせて、画像の低レベル特徴を効率的に抽出する。
  論文  参考訳（メタデータ） (2021-03-10T08:57:53Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。