論文の概要: Automatic Radiology Report Generation by Learning with Increasingly Hard Negatives

• arxiv url: http://arxiv.org/abs/2305.07176v1
• Date: Thu, 11 May 2023 23:12:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 14:27:09.131524
• Title: Automatic Radiology Report Generation by Learning with Increasingly Hard Negatives
• Title（参考訳）: 硬度負の学習による放射線診断自動生成
• Authors: Bhanu Prakash Voutharoja and Lei Wang and Luping Zhou
• Abstract要約: 本稿では,識別画像を学習し,特徴を報告する新しい枠組みを提案する。 それらが最も近い仲間、すなわち強陰性と区別される。 既存の医療報告生成モデルを簡単に改善するためのプラグインとして機能する。
• 参考スコア（独自算出の注目度）: 23.670280341513795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic radiology report generation is challenging as medical images or reports are usually similar to each other due to the common content of anatomy. This makes a model hard to capture the uniqueness of individual images and is prone to producing undesired generic or mismatched reports. This situation calls for learning more discriminative features that could capture even fine-grained mismatches between images and reports. To achieve this, this paper proposes a novel framework to learn discriminative image and report features by distinguishing them from their closest peers, i.e., hard negatives. Especially, to attain more discriminative features, we gradually raise the difficulty of such a learning task by creating increasingly hard negative reports for each image in the feature space during training, respectively. By treating the increasingly hard negatives as auxiliary variables, we formulate this process as a min-max alternating optimisation problem. At each iteration, conditioned on a given set of hard negative reports, image and report features are learned as usual by minimising the loss functions related to report generation. After that, a new set of harder negative reports will be created by maximising a loss reflecting image-report alignment. By solving this optimisation, we attain a model that can generate more specific and accurate reports. It is noteworthy that our framework enhances discriminative feature learning without introducing extra network weights. Also, in contrast to the existing way of generating hard negatives, our framework extends beyond the granularity of the dataset by generating harder samples out of the training set. Experimental study on benchmark datasets verifies the efficacy of our framework and shows that it can serve as a plug-in to readily improve existing medical report generation models.
• Abstract（参考訳）: 医学的画像やレポートは通常、解剖学的に共通する内容のため、互いに類似しているため、自動放射線学レポート生成は困難である。 これにより、個々の画像のユニークさを捉えるのが難しくなり、望ましくないジェネリックまたはミスマッチしたレポートを生成する傾向にある。 この状況は、画像とレポートの微妙なミスマッチをキャプチャできる、より差別的な特徴を学習することを求めている。 そこで本稿では,識別イメージを学習し,特徴を最も近い仲間,すなわちハードネガティブと区別し,特徴を報告するための新しい枠組みを提案する。 特に,より識別的な特徴を達成するために,訓練中の各画像に対して,より強固な負のレポートを作成することにより,学習課題の難易度を徐々に高めていく。 急激な負を補助変数として扱うことにより、この過程を min-max の交互最適化問題として定式化する。 各イテレーションにおいて、与えられた一組の強陰性レポートに基づいて、レポート生成に関連する損失関数を最小化することにより、通常通り画像およびレポート特徴を学習する。 その後、画像とレポートのアライメントを反映した損失を最大化することで、新たな厳しいネガティブレポートが作成される。 この最適化を解決すれば、より具体的に正確なレポートを生成することができるモデルが得られる。 このフレームワークは,ネットワークの重み付けを余分に導入することなく,識別的特徴学習を促進する。 また、既存のハードネガティブの生成方法とは対照的に、トレーニングセットから厳しいサンプルを生成することにより、データセットの粒度を超えてフレームワークが拡張されます。 ベンチマークデータセットの実験研究により,本フレームワークの有効性が検証され,既存の医療報告生成モデルを簡単に改善するためのプラグインとして機能することが確認された。

関連論文リスト

• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• MedRAT: Unpaired Medical Report Generation via Auxiliary Tasks [11.190146577567548]
  本稿では、2つの異なるデータセットで利用可能な情報を活用する新しいモデルを提案する。 我々のモデルはMedRATと呼ばれ、従来の最先端の手法を超越している。
  論文  参考訳（メタデータ） (2024-07-04T13:31:47Z)
• MAIRA-2: Grounded Radiology Report Generation [39.7576903743788]
  放射線学報告は、詳細な画像理解、複数入力の統合、正確な言語生成を必要とする複雑なタスクである。 ここでは、画像上の個々の発見の局所化を含むレポート生成を拡張し、そのタスクをグラウンドドレポート生成と呼ぶ。 放射線学固有の画像エンコーダをLCMと組み合わせた大規模マルチモーダルモデルMAIRA-2を導入し,胸部X線に基づく新たな報告生成の課題を訓練した。
  論文  参考訳（メタデータ） (2024-06-06T19:12:41Z)
• MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
  一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。 このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。 胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
  論文  参考訳（メタデータ） (2024-03-20T09:40:11Z)
• Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning [39.17345313432545]
  臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。 トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。 実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T03:33:48Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
  本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。 2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
  論文  参考訳（メタデータ） (2022-11-22T18:59:50Z)
• Lesion Guided Explainable Few Weak-shot Medical Report Generation [25.15493013683396]
  本報告では, 病状ガイドによる説明が可能で, 弱ショット医療報告生成フレームワークを提案する。 視覚的特徴アライメントと意味的特徴アライメントによって、目と新しいクラス間の相関を学習する。 研修で観察されていない病気の医療報告を作成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-16T07:47:29Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。