Fugu-MT 論文翻訳(概要): DCFormer: Efficient 3D Vision-Language Modeling with Decomposed Convolutions

論文の概要: DCFormer: Efficient 3D Vision-Language Modeling with Decomposed Convolutions

arxiv url: http://arxiv.org/abs/2502.05091v1
Date: Fri, 07 Feb 2025 17:10:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-10 14:56:25.361754
Title: DCFormer: Efficient 3D Vision-Language Modeling with Decomposed Convolutions
Title（参考訳）: DCFormer: 分割畳み込みによる効率的な3Dビジョンランゲージモデリング
Authors: Gorkem Can Ates, Kuang Gong, Wei Shao,
Abstract要約: 我々は,3次元畳み込みを深さ,高さ,幅の3つの平行1次元畳み込みに分解する,効率的な3次元医用画像エンコーダDCFormerを紹介する。 DCFormerは、DCFormer-Tinyの精度が62.0%、F1スコアが46.3%である。
参考スコア（独自算出の注目度）: 4.173963073705872
License:
Abstract: Vision-language models (VLMs) align visual and textual representations, enabling high-performance zero-shot classification and image-text retrieval in 2D medical imaging. However, extending VLMs to 3D medical imaging remains computationally challenging. Existing 3D VLMs rely on Vision Transformers (ViTs), which are computationally expensive due to self-attention's quadratic complexity, or 3D convolutions, which demand excessive parameters and FLOPs as kernel size increases. We introduce DCFormer, an efficient 3D medical image encoder that factorizes 3D convolutions into three parallel 1D convolutions along depth, height, and width. This design preserves spatial information while significantly reducing computational cost. Integrated into a CLIP-based vision-language framework, DCFormer is evaluated on CT-RATE, a dataset of 50,188 paired 3D chest CT volumes and radiology reports, for zero-shot multi-abnormality detection across 18 pathologies. Compared to ViT, ConvNeXt, PoolFormer, and TransUNet, DCFormer achieves superior efficiency and accuracy, with DCFormer-Tiny reaching 62.0% accuracy and a 46.3% F1-score while using significantly fewer parameters. These results highlight DCFormer's potential for scalable, clinically deployable 3D medical VLMs. Our codes will be publicly available.
Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚とテキストの表現を整列させ、2次元医用画像の高速ゼロショット分類と画像テキスト検索を可能にする。しかし、VLMを3次元医用画像に拡張することは計算的に困難である。既存の3D VLMはビジョントランスフォーマー(ViT)に依存しており、カーネルサイズが大きくなるにつれて過度なパラメータやFLOPを必要とする3D畳み込み(英語版)という自己アテンションの複雑さのために計算コストがかかる。我々は,3次元畳み込みを深さ,高さ,幅の3つの平行1次元畳み込みに分解する,効率的な3次元医用画像エンコーダDCFormerを紹介する。この設計は空間情報を保存し、計算コストを大幅に削減する。 CLIPベースの視覚言語フレームワークに統合され、DCFormerは、50,188対の3D胸部CTボリュームと放射線診断レポートのデータセットであるCT-RATEで評価され、18の病理領域におけるゼロショット多重異常検出に使用される。 ViT、ConvNeXt、PoolFormer、TransUNetと比べ、DCFormer-Tinyの精度は62.0%、F1スコアは46.3%で、効率と精度は優れている。これらの結果は、スケーラブルで臨床的にデプロイ可能な3D医療用VLMに対するDCFormerの可能性を浮き彫りにしている。私たちのコードは公開されます。

関連論文リスト

E3D-GPT: Enhanced 3D Visual Foundation for Medical Vision-Language Model [23.56751925900571]
3次元医用視覚言語モデルの開発は、疾患の診断と患者の治療に有意な可能性を秘めている。自己教師付き学習を用いて3次元視覚特徴抽出のための3次元視覚基盤モデルを構築した。本研究では,3次元空間畳み込みを高精細画像の特徴の集約・投影に応用し,計算複雑性を低減した。本モデルは,既存の報告生成法,視覚的質問応答法,疾患診断法と比較して,優れた性能を示す。
論文参考訳（メタデータ） (2024-10-18T06:31:40Z)
EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
論文参考訳（メタデータ） (2024-08-21T17:57:06Z)
Diff3Dformer: Leveraging Slice Sequence Diffusion for Enhanced 3D CT Classification with Transformer Networks [5.806035963947936]
拡散型3次元視覚変換器(Diff3Dformer)を提案する。本手法は, 肺CTの2種類の小さなデータセットに対して, 改良された性能を示す。
論文参考訳（メタデータ） (2024-06-24T23:23:18Z)
Cross-Dimensional Medical Self-Supervised Representation Learning Based on a Pseudo-3D Transformation [68.60747298865394]
擬似3D変換(CDSSL-P3D)に基づく新しい三次元SSLフレームワークを提案する。具体的には、2D画像を3Dデータに整合したフォーマットに変換するim2colアルゴリズムに基づく画像変換を提案する。この変換は2次元および3次元データのシームレスな統合を可能にし、3次元医用画像解析のための相互教師あり学習を容易にする。
論文参考訳（メタデータ） (2024-06-03T02:57:25Z)
CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文参考訳（メタデータ） (2024-04-23T17:59:01Z)
SegFormer3D: an Efficient Transformer for 3D Medical Image Segmentation [0.13654846342364302]
マルチスケールボリューム機能にまたがる注目度を算出する階層変換器であるSegFormer3Dを提案する。 SegFormer3Dは複雑なデコーダを避け、全MLPデコーダを使用して、ローカルおよびグローバルなアテンション機能を集約する。広く使われている3つのデータセット上で、現在のSOTAモデルに対してSegFormer3Dをベンチマークする。
論文参考訳（メタデータ） (2024-04-15T22:12:05Z)
Generative Enhancement for 3D Medical Images [74.17066529847546]
本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
論文参考訳（メタデータ） (2024-03-19T15:57:04Z)
Spatiotemporal Modeling Encounters 3D Medical Image Analysis: Slice-Shift UNet with Multi-View Fusion [0.0]
本稿では,2次元CNNにおける3次元特徴をエンコードする2次元モデルSlice SHift UNetを提案する。より正確にマルチビュー機能は、ボリュームの3次元平面に沿って2次元の畳み込みを実行することで協調的に学習される。提案手法の有効性は,多モード腹部多臓器軸 (AMOS) と Cranial Vault (BTCV) データセットを越えたマルチアトラスラベリング (Multi-Atlas Labeling Beyond the Cranial Vault) で検証した。
論文参考訳（メタデータ） (2023-07-24T14:53:23Z)
CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation [95.51455777713092]
畳み込みニューラルネットワーク(CNN)は、現代の3D医療画像セグメンテーションのデファクトスタンダードとなっている。本稿では,bf畳み込みニューラルネットワークとbfトランスbf(cotr)を効率良く橋渡しし,正確な3次元医用画像分割を実現する新しい枠組みを提案する。
論文参考訳（メタデータ） (2021-03-04T13:34:22Z)
Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文参考訳（メタデータ） (2020-12-16T07:11:16Z)
3D Probabilistic Segmentation and Volumetry from 2D projection images [10.32519161805588]
X線撮影は迅速で安価で、最前線のケアアセスメントや術中リアルタイムイメージングに有用である。プロジェクティブな情報損失に悩まされており、多くの診断バイオマーカーがベースとなっている重要な情報を欠いている。本稿では,2次元画像モダリティから3次元容積像を再構成する確率的手法について検討する。
論文参考訳（メタデータ） (2020-06-23T08:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。