論文の概要: Joint Learning of Localized Representations from Medical Images and Reports

• arxiv url: http://arxiv.org/abs/2112.02889v1
• Date: Mon, 6 Dec 2021 09:27:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 13:49:48.325052
• Title: Joint Learning of Localized Representations from Medical Images and Reports
• Title（参考訳）: 医用画像からの局所表現の同時学習と報告
• Authors: Philip M\"uller (1), Georgios Kaissis (1 and 2), Congyu Zou (1), Daniel R\"uckert (1 and 2) ((1) Technical University of Munich, (2) Imperial College London)
• Abstract要約: そこで我々は,視覚とテキスト(LoVT)からの局所化表現学習を提案し,局所化医療画像タスクを目標とした。 本手法は,画像領域の局所的コントラスト学習とインスタンスレベルのコントラスト学習を組み合わせ,文表現を報告する。 LoVTは研究対象のタスクのうち11つで最善を尽くし、ローカライズされたタスクの選択方法として好まれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has proven effective for pre-training image models on unlabeled data with promising results for tasks such as medical image classification. Using paired text and images (such as radiological reports and images) during pre-training improved the results even further. Still, most existing methods target image classification as downstream tasks and may not be optimal for localized tasks like semantic segmentation or object detection. We therefore propose Localized representation learning from Vision and Text (LoVT), to our best knowledge, the first text-supervised pre-training method that targets localized medical imaging tasks. Our method combines instance-level image-report contrastive learning with local contrastive learning on image region and report sentence representations. We evaluate LoVT and commonly used pre-training methods on a novel evaluation framework consisting of 18 localized tasks on chest X-rays from five public datasets. While there is no single best method, LoVT performs best on 11 out of the 18 studied tasks making it the preferred method of choice for localized tasks.
• Abstract（参考訳）: コントラスト学習は、医用画像分類などの課題に対して有望な結果を伴うラベル付きデータに基づく画像モデルの事前学習に有効であることが証明されている。 事前トレーニング中にペアのテキストと画像(放射線レポートや画像など)を使用することで、さらに結果が向上した。 それでも、既存のほとんどのメソッドはダウンストリームタスクとしてイメージ分類をターゲットにしており、セマンティックセグメンテーションやオブジェクト検出のようなローカライズタスクには最適ではないかもしれない。 そこで,我々は視覚とテキスト(lovt)からの局所化表現学習を,局所化医療画像タスクを対象とする最初のテキスト教師付き事前学習手法である最善知識に提案する。 本手法は,画像領域の局所的コントラスト学習とインスタンスレベルのコントラスト学習を組み合わせ,文表現を報告する。 5つの公開データセットから,胸部X線上の18の局所化タスクからなる新しい評価フレームワーク上で,LoVTおよび一般的な事前学習手法を評価する。 最高の方法はないが、LoVTは18の課題のうち11のタスクで最善を尽くし、ローカライズされたタスクを選ぶ方法として好まれる。

関連論文リスト

• Nucleus-aware Self-supervised Pretraining Using Unpaired Image-to-image Translation for Histopathology Images [3.8391355786589805]
  病理組織像のための新しい核認識型自己教師型プレトレーニングフレームワークを提案する。 このフレームワークは、未ペア画像から画像への変換によって核形態や分布情報を捉えることを目的としている。 7つのデータセットに対する実験により,提案手法は,Kather分類,複数インスタンス学習,および5つの高密度予測タスクにおいて,教師付き手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-09-14T02:31:18Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• The Role of Local Alignment and Uniformity in Image-Text Contrastive Learning on Medical Images [7.49320945341034]
  局所的なコントラスト損失がグローバルな(サンプルごとの)コントラスト損失とどのように関連し、局所的な医療ダウンストリームタスクにどのような影響があるかを検討する。 理論的比較に基づき、局所的な損失のいくつかの成分を除去し、新しい分布に置き換えることを提案する。 胸部X線課題に対するこのアプローチを実証的に研究し,12タスク中12タスクにおいて局所的な損失を伴わずに,極めて効果的かつ優れた手法であることが確認された。
  論文  参考訳（メタデータ） (2022-11-14T10:32:51Z)
• Self-Supervised-RCNN for Medical Image Segmentation with Limited Data Annotation [0.16490701092527607]
  ラベルなしMRIスキャンによる自己教師付き事前学習に基づく新たなディープラーニング学習戦略を提案する。 我々の事前学習アプローチはまず、ラベルのない画像のランダム領域に異なる歪みをランダムに適用し、次に歪みの種類と情報の損失を予測する。 異なる事前学習シナリオと微調整シナリオにおけるセグメンテーション課題に対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2022-07-17T13:28:52Z)
• Robust Medical Image Classification from Noisy Labeled Data with Global and Local Representation Guided Co-training [73.60883490436956]
  本稿では,ロバストな医用画像分類のためのグローバルおよびローカルな表現学習を用いた新しい協調学習パラダイムを提案する。 ノイズラベルフィルタを用いた自己アンサンブルモデルを用いて、クリーンでノイズの多いサンプルを効率的に選択する。 また,ネットワークを暗黙的に正規化してノイズの多いサンプルを利用するための,グローバルかつ局所的な表現学習手法を設計する。
  論文  参考訳（メタデータ） (2022-05-10T07:50:08Z)
• Positional Contrastive Learning for Volumetric Medical Image Segmentation [13.086140606803408]
  コントラストデータペアを生成するための新しい位置コントラスト学習フレームワークを提案する。 提案手法は,半教師付き設定と移動学習の両方において既存の手法と比較して,セグメンテーション性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-06-16T22:15:28Z)
• Contrastive Learning of Medical Visual Representations from Paired Images and Text [38.91117443316013]
  本研究では,自然発生した記述的ペアリングテキストを活用することで,医用視覚表現を学習するための教師なし戦略であるConVIRTを提案する。 この2つのモダリティ間の双方向のコントラスト的目的を通じて、ペア化されたテキストデータを用いて医療画像エンコーダを事前訓練する手法は、ドメインに依存しないため、追加の専門家による入力は不要である。
  論文  参考訳（メタデータ） (2020-10-02T02:10:18Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks [207.52609682812147]
  そこで我々は,Oscar (Object-Semantics Aligned Pre-training) という新しい学習手法を提案する。 画像で検出されたオブジェクトタグをアンカーポイントとして使用することで、アライメントの学習を大幅に容易にする。 我々は、650万のテキストイメージ対のパブリックコーパスでオスカーモデルを事前訓練し、下流のタスクで微調整する。
  論文  参考訳（メタデータ） (2020-04-13T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。