論文の概要: A Reality Check of Vision-Language Pre-training in Radiology: Have We Progressed Using Text?

• arxiv url: http://arxiv.org/abs/2504.05227v1
• Date: Mon, 07 Apr 2025 16:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:10:56.164768
• Title: A Reality Check of Vision-Language Pre-training in Radiology: Have We Progressed Using Text?
• Title（参考訳）: 放射線学における視線前訓練の実態調査:テキストの活用は進展したか?
• Authors: Julio Silva-Rodríguez, Jose Dolz, Ismail Ben Ayed,
• Abstract要約: 大規模データソースを使用してリッチな特徴表現を学習可能にすることで、ビジョン言語による事前学習が最近人気を集めている。 本報告では, 教師付き単調な事前学習を, きめ細かいラベルを用いて再検討する。 我々は,不均質なデータソースの統合に適し,単調な事前学習が競争力が高く,適していることを示す広範な比較を行う。
• 参考スコア（独自算出の注目度）: 20.94974284175104
• License:
• Abstract: Vision-language pre-training has recently gained popularity as it allows learning rich feature representations using large-scale data sources. This paradigm has quickly made its way into the medical image analysis community. In particular, there is an impressive amount of recent literature developing vision-language models for radiology. However, the available medical datasets with image-text supervision are scarce, and medical concepts are fine-grained, involving expert knowledge that existing vision-language models struggle to encode. In this paper, we propose to take a prudent step back from the literature and revisit supervised, unimodal pre-training, using fine-grained labels instead. We conduct an extensive comparison demonstrating that unimodal pre-training is highly competitive and better suited to integrating heterogeneous data sources. Our results also question the potential of recent vision-language models for open-vocabulary generalization, which have been evaluated using optimistic experimental settings. Finally, we study novel alternatives to better integrate fine-grained labels and noisy text supervision.
• Abstract（参考訳）: 大規模データソースを使用してリッチな特徴表現を学習可能にすることで、ビジョン言語による事前学習が最近人気を集めている。 このパラダイムは、医療画像分析コミュニティに急速に浸透した。 特に近年,放射線学のための視覚言語モデルの開発が盛んに行われている。 しかし、画像テキストを監督する利用可能な医療データセットは乏しく、医療概念はきめ細かいものであり、既存のビジョン言語モデルでは符号化に苦労する専門家の知識を含んでいる。 そこで本稿では,文献から慎重な一歩を遡り,よりきめ細かなラベルを用いて教師付き一元的事前学習を行うことを提案する。 我々は,不均質なデータソースの統合に適し,単調な事前学習が競争力が高く,適していることを示す広範な比較を行う。 また,オープン語彙一般化のための近年の視覚言語モデルの可能性についても,楽観的な実験的設定を用いて検討した。 最後に,よりきめ細かいラベルとノイズの多いテキスト管理をうまく統合するための新しい代替手段について検討する。

関連論文リスト

• CXR-Agent: Vision-language models for chest X-ray interpretation with uncertainty aware radiology reporting [0.0]
  胸部X線解釈のための基礎的視覚言語モデルとして, 一般に公開されている技術の現状を評価した。 視覚言語モデルは、しばしば自信のある言語と幻覚し、臨床解釈を遅くする。 我々は,CheXagentの線形プローブとBioViL-Tのフレーズグラウンドティングツールを用いて,エージェントベースの視覚言語によるレポート生成手法を開発した。
  論文  参考訳（メタデータ） (2024-07-11T18:39:19Z)
• Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
  本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。 骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
  論文  参考訳（メタデータ） (2024-05-14T19:53:20Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Knowledge Boosting: Rethinking Medical Contrastive Vision-Language Pre-Training [6.582001681307021]
  知識ブースティング・コントラスト・ビジョン・ランゲージ事前学習フレームワーク(KoBo)を提案する。 KoBoは、臨床知識を視覚言語意味一貫性の学習に統合する。 分類,セグメンテーション,検索,意味的関連性を含む8つのタスクに対するフレームワークの効果を検証する実験を行った。
  論文  参考訳（メタデータ） (2023-07-14T09:38:22Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)
• Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing [17.96645738679543]
  テキスト・セマンティック・モデリングは自己教師付き視覚処理におけるコントラスト学習を大幅に改善できることを示す。 テキストモデリングの改善に焦点をあてた,自己教師型共同視覚言語アプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-21T00:04:35Z)
• A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
  視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。 視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩 我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
  論文  参考訳（メタデータ） (2021-11-29T17:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。