論文の概要: MedCycle: Unpaired Medical Report Generation via Cycle-Consistency
- arxiv url: http://arxiv.org/abs/2403.13444v2
- Date: Thu, 21 Mar 2024 17:19:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 18:38:36.899058
- Title: MedCycle: Unpaired Medical Report Generation via Cycle-Consistency
- Title(参考訳): MedCycle: サイクル一貫性による障害のない医療レポート生成
- Authors: Elad Hirsch, Gefen Dawidowicz, Ayellet Tal,
- Abstract要約: 一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。
このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。
胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
- 参考スコア(独自算出の注目度): 11.190146577567548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating medical reports for X-ray images presents a significant challenge, particularly in unpaired scenarios where access to paired image-report data for training is unavailable. Previous works have typically learned a joint embedding space for images and reports, necessitating a specific labeling schema for both. We introduce an innovative approach that eliminates the need for consistent labeling schemas, thereby enhancing data accessibility and enabling the use of incompatible datasets. This approach is based on cycle-consistent mapping functions that transform image embeddings into report embeddings, coupled with report auto-encoding for medical report generation. Our model and objectives consider intricate local details and the overarching semantic context within images and reports. This approach facilitates the learning of effective mapping functions, resulting in the generation of coherent reports. It outperforms state-of-the-art results in unpaired chest X-ray report generation, demonstrating improvements in both language and clinical metrics.
- Abstract(参考訳): X線画像の医療報告を生成することは、特にペア化された画像レポートデータへのアクセスが不可能な未解決のシナリオにおいて、大きな課題となる。
これまでの研究では、画像とレポートの共同埋め込みスペースを学習しており、どちらも特定のラベル付けスキーマを必要とする。
我々は、一貫性のあるラベリングスキーマの必要性を排除し、データアクセシビリティを向上し、非互換なデータセットの使用を可能にする革新的なアプローチを導入する。
このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数と、医療報告生成のためのレポート自動エンコーディングに基づいている。
我々のモデルと目的は、画像やレポート内の複雑な局所的詳細と包括的な意味的文脈を考察する。
このアプローチは効果的なマッピング関数の学習を容易にし、コヒーレントなレポートを生成する。
胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
関連論文リスト
- MedRAT: Unpaired Medical Report Generation via Auxiliary Tasks [11.190146577567548]
本稿では、2つの異なるデータセットで利用可能な情報を活用する新しいモデルを提案する。
我々のモデルはMedRATと呼ばれ、従来の最先端の手法を超越している。
論文 参考訳(メタデータ) (2024-07-04T13:31:47Z) - Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。
我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。
我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
論文 参考訳(メタデータ) (2024-05-23T01:29:47Z) - Fine-Grained Image-Text Alignment in Medical Imaging Enables Explainable Cyclic Image-Report Generation [91.63262242041695]
本稿では,胸部X線画像領域と医療報告における単語を関連付けるために,適応パッチワードマッチング(AdaMatch)モデルを提案する。
AdaMatchは、適応パッチと単語のきめ細かい関係を利用して、対応する単語で特定の画像領域の説明を提供する。
CXRレポート生成タスクの明示的な説明性を提供するため,循環型CXRレポート生成のためのAdaMatchベースの双方向大言語モデルを提案する。
論文 参考訳(メタデータ) (2023-12-13T11:47:28Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-10-09T02:31:36Z) - Automatic Radiology Report Generation by Learning with Increasingly Hard
Negatives [23.670280341513795]
本稿では,識別画像を学習し,特徴を報告する新しい枠組みを提案する。
それらが最も近い仲間、すなわち強陰性と区別される。
既存の医療報告生成モデルを簡単に改善するためのプラグインとして機能する。
論文 参考訳(メタデータ) (2023-05-11T23:12:13Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - Lesion Guided Explainable Few Weak-shot Medical Report Generation [25.15493013683396]
本報告では, 病状ガイドによる説明が可能で, 弱ショット医療報告生成フレームワークを提案する。
視覚的特徴アライメントと意味的特徴アライメントによって、目と新しいクラス間の相関を学習する。
研修で観察されていない病気の医療報告を作成することを目的としている。
論文 参考訳(メタデータ) (2022-11-16T07:47:29Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays [6.686095511538683]
本研究は放射線画像の異常所見の報告に焦点を当てる。
本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-06T04:18:18Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。