論文の概要: Comprehensive language-image pre-training for 3D medical image understanding

• arxiv url: http://arxiv.org/abs/2510.15042v1
• Date: Thu, 16 Oct 2025 18:01:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.340111
• Title: Comprehensive language-image pre-training for 3D medical image understanding
• Title（参考訳）: 3次元医用画像理解のための包括的言語画像事前学習
• Authors: Tassilo Wald, Ibrahim Ethem Hamamci, Yuan Gao, Sam Bond-Taylor, Harshita Sharma, Maximilian Ilse, Cynthia Lo, Olesya Melnichenko, Noel C. F. Codella, Maria Teodora Wetscherek, Klaus H. Maier-Hein, Panagiotis Korfiatis, Valentina Salvatelli, Javier Alvarez-Valle, Fernando Pérez-García,
• Abstract要約: ビジョン言語による事前学習、すなわち画像とペアテキストの整列はエンコーダを作成するための強力なパラダイムである。 我々は,包括的言語画像事前学習(COLIPRI)エンコーダファミリーを開発した。 我々のCOLIPRIエンコーダは、レポート生成、分類探索、ゼロショット分類において最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 40.12276593119101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language pre-training, i.e., aligning images with paired text, is a powerful paradigm to create encoders that can be directly used for tasks such as classification and retrieval, and for downstream tasks such as segmentation and report generation. In the 3D medical image domain, these capabilities allow vision-language encoders (VLEs) to support radiologists by retrieving patients with similar abnormalities or predicting likelihoods of abnormality. While the methodology holds promise, data availability limits the capabilities of current 3D VLEs. In this paper, we alleviate the lack of data by injecting additional inductive biases: introducing a report generation objective and pairing vision-language pre-training with vision-only pre-training. This allows us to leverage both image-only and paired image-text 3D datasets, increasing the total amount of data to which our model is exposed. Through these additional inductive biases, paired with best practices of the 3D medical imaging domain, we develop the Comprehensive Language-image Pre-training (COLIPRI) encoder family. Our COLIPRI encoders achieve state-of-the-art performance in report generation, classification probing, and zero-shot classification, and remain competitive for semantic segmentation.
• Abstract（参考訳）: 視覚言語による事前訓練、すなわち、画像とペアテキストの整列は、分類や検索などのタスクや、セグメンテーションやレポート生成といった下流タスクに直接使用できるエンコーダを作成するための強力なパラダイムである。 3D医療画像領域では、同様の異常のある患者を検索したり、異常の可能性を予測したりすることで、視覚言語エンコーダ(VLE)が放射線科医を支援することができる。 この方法論は有望だが、データの可用性は現在の3D VLEの能力を制限している。 本稿では,新たな帰納バイアスを注入することで,データ不足を緩和する。レポート生成目標の導入と,視覚のみの事前学習とペアリング視覚言語による事前学習である。 これにより、画像のみとペア化された画像テキスト3Dデータセットの両方を活用することができ、モデルが公開するデータの総量を増やすことができます。 これらの付加的帰納バイアスを3次元医用画像領域のベストプラクティスと組み合わせて,包括的言語画像前訓練(COLIPRI)エンコーダファミリーを開発した。 我々のCOLIPRIエンコーダは、レポート生成、分類探索、ゼロショット分類における最先端性能を実現し、セマンティックセグメンテーションの競争力を維持する。

関連論文リスト

• VELVET-Med: Vision and Efficient Language Pre-training for Volumetric Imaging Tasks in Medicine [11.993301266706139]
  我々は,3次元CTや関連する放射線学報告など,限られたボリュームデータを対象とした視覚言語事前学習フレームワーク「textbfVELVET-Med」を提案する。 本研究は,ボリューム医療画像とそれに対応する臨床物語に埋め込まれた,豊かな空間的・意味的関係を明らかにすることを目的としている。 結果として得られるエンコーダは強い転送可能性を示し、幅広い下流タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-16T17:08:43Z)
• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Freeze the backbones: A Parameter-Efficient Contrastive Approach to Robust Medical Vision-Language Pre-training [15.790435273150083]
  本稿では,事前に訓練した画像やテキストエンコーダの医療知識を凍結保存して保存するバックボーン非依存型適応フレームワークを提案する。 当社のフレームワークは,既存の事前トレーニングアプローチと比較して,トレーニング可能なパラメータを90%以上削減しながら,競争力のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-01-02T12:14:41Z)
• Utilizing Synthetic Data for Medical Vision-Language Pre-training: Bypassing the Need for Real Images [9.86468773903613]
  Medical Vision-Language Pre-Trainingは、医用画像とペアの放射線学レポートから、共同で表現を学習する。 我々は、本物の医療報告から生成された、本物の医療画像と、その合成等価物とを置き換える。 我々の経験的評価は、合成データによって達成された性能が実画像と同等かそれ以上であることを示している。
  論文  参考訳（メタデータ） (2023-10-10T21:29:41Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Self-Paced Contrastive Learning for Semi-supervisedMedical Image Segmentation with Meta-labels [6.349708371894538]
  メタラベルアノテーションを扱うために、コントラスト学習を適用することを提案する。 画像エンコーダの事前トレーニングにはメタラベルを使用し、半教師付きトレーニングを標準化する。 3つの異なる医用画像セグメンテーションデータセットの結果から,本手法は数回のスキャンでトレーニングしたモデルの性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2021-07-29T04:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。