論文の概要: Advancing Text-Driven Chest X-Ray Generation with Policy-Based
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2403.06516v1
- Date: Mon, 11 Mar 2024 08:43:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:53:48.882263
- Title: Advancing Text-Driven Chest X-Ray Generation with Policy-Based
Reinforcement Learning
- Title(参考訳): ポリシーベース強化学習によるテキスト駆動胸部x線生成の進歩
- Authors: Woojung Han, Chanyoung Kim, Dayun Ju, Yumin Shim, Seong Jae Hwang
- Abstract要約: 我々は、強化学習(RL)の可能性に動機付けられたフレームワークであるCXRLを提案する。
我々のフレームワークは、学習可能な適応条件埋め込み(ACE)と画像生成器を併用して最適化する。
我々のCXRLは、病理学的に現実的なCXRを生成し、CXRを生成するための新しい標準を確立する。
- 参考スコア(独自算出の注目度): 5.476136494434766
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in text-conditioned image generation diffusion models have
begun paving the way for new opportunities in modern medical domain, in
particular, generating Chest X-rays (CXRs) from diagnostic reports.
Nonetheless, to further drive the diffusion models to generate CXRs that
faithfully reflect the complexity and diversity of real data, it has become
evident that a nontrivial learning approach is needed. In light of this, we
propose CXRL, a framework motivated by the potential of reinforcement learning
(RL). Specifically, we integrate a policy gradient RL approach with
well-designed multiple distinctive CXR-domain specific reward models. This
approach guides the diffusion denoising trajectory, achieving precise CXR
posture and pathological details. Here, considering the complex medical image
environment, we present "RL with Comparative Feedback" (RLCF) for the reward
mechanism, a human-like comparative evaluation that is known to be more
effective and reliable in complex scenarios compared to direct evaluation. Our
CXRL framework includes jointly optimizing learnable adaptive condition
embeddings (ACE) and the image generator, enabling the model to produce more
accurate and higher perceptual CXR quality. Our extensive evaluation of the
MIMIC-CXR-JPG dataset demonstrates the effectiveness of our RL-based tuning
approach. Consequently, our CXRL generates pathologically realistic CXRs,
establishing a new standard for generating CXRs with high fidelity to
real-world clinical scenarios.
- Abstract(参考訳): テキストコンディショニング画像生成拡散モデルの最近の進歩は、現代医学領域、特に診断報告から胸部X線(CXR)を発生させる新たな機会を開拓し始めている。
それにもかかわらず、拡散モデルをさらに推し進めて、実際のデータの複雑さと多様性を忠実に反映したCXRを生成するためには、非自明な学習アプローチが必要であることが明らかになっている。
そこで我々は,強化学習(RL)の可能性に動機付けられたフレームワークであるCXRLを提案する。
具体的には、ポリシー勾配RLアプローチと、よく設計された複数のCXRドメイン固有の報酬モデルを統合する。
このアプローチは拡散分極軌道を誘導し、正確なcxr姿勢と病理的詳細を達成する。
ここでは、複雑な医療画像環境を考慮し、報酬メカニズムの「RL with Comparison Feedback」(RLCF)について述べる。
我々のCXRLフレームワークは、学習可能な適応条件埋め込み(ACE)と画像生成器を協調的に最適化し、モデルがより正確で知覚上のCXRの品質を得られるようにする。
我々はMIMIC-CXR-JPGデータセットを広範囲に評価し,RLに基づくチューニング手法の有効性を示した。
その結果,CXRLは病理学的に現実的なCXRを生成し,臨床シナリオに忠実なCXRを生成するための新たな標準を確立した。
関連論文リスト
- Diff-CXR: Report-to-CXR generation through a disease-knowledge enhanced diffusion model [4.507437953126754]
本稿では,Diff-CXR と名づけられたDiffusion-to-CXR 学習フレームワークを提案する。
Diff-CXRは,MIMIC-CXRおよびIU-XrayのFIDおよびmAUCスコアにおいて,従来のSOTA医療TTI法を33.4%/8.0%/23.8%/56.4%で上回った。
論文 参考訳(メタデータ) (2024-10-26T12:38:12Z) - Addressing Asynchronicity in Clinical Multimodal Fusion via Individualized Chest X-ray Generation [14.658627367126009]
本稿では,胸部X線像の最新の画像表現を動的に生成するDDL-CXRを提案する。
提案手法は,従来のCXR画像とERH時系列を戦略的に条件付けした患者特異的生成のための潜時拡散モデルを利用する。
MIMICデータセットを用いた実験は、提案モデルがマルチモーダル融合における非同期性に効果的に対応し、既存の手法を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2024-10-23T14:34:39Z) - DiCoM -- Diverse Concept Modeling towards Enhancing Generalizability in Chest X-Ray Studies [6.83819481805979]
胸部X線(胸部X線、CXR)は、広く用いられている画像モダリティである。
自己指導型プレトレーニングは、多くの下流視覚タスクにおいて教師付きプレトレーニングよりも優れていることが証明されている。
本稿では,新しい自己教師型トレーニングパラダイムであるDiCoMについて紹介する。
論文 参考訳(メタデータ) (2024-02-22T20:51:37Z) - UniChest: Conquer-and-Divide Pre-training for Multi-Source Chest X-Ray Classification [36.94690613164942]
UniChestはConquer-and-Divide事前トレーニングフレームワークで、複数のCXRソースのコラボレーション利益をフル活用することを目的としている。
我々は、ChestX-ray14、CheXpert、Vindr-CXR、深セン、Open-I、SIIM-ACR Pneumothoraxなどの多くのベンチマークで徹底的な実験を行った。
論文 参考訳(メタデータ) (2023-12-18T09:16:48Z) - DifAugGAN: A Practical Diffusion-style Data Augmentation for GAN-based
Single Image Super-resolution [88.13972071356422]
本稿では,DifAugGAN として知られる GAN ベースの画像超解像法(SR) のための拡散型データ拡張手法を提案する。
それは、訓練中の判別器の校正を改善するために、生成拡散モデルに拡散過程を適用することを含む。
我々のDifAugGANは、現在のGANベースのSISR手法のプラグ・アンド・プレイ戦略であり、判別器の校正を改善し、SR性能を向上させることができる。
論文 参考訳(メタデータ) (2023-11-30T12:37:53Z) - Chest X-ray Image Classification: A Causal Perspective [49.87607548975686]
本稿では,CXR分類問題に対処する因果的アプローチを提案し,構造因果モデル(SCM)を構築し,CXR分類に有効な視覚情報を選択するためにバックドア調整を用いる。
実験の結果,提案手法はオープンソースNIH ChestX-ray14の分類性能に優れていた。
論文 参考訳(メタデータ) (2023-05-20T03:17:44Z) - Vision-Language Generative Model for View-Specific Chest X-ray Generation [18.347723213970696]
ViewXGenは、フロントビュー胸部X線を生成する既存のメソッドの制限を克服するように設計されている。
提案手法は, データセット内の多様な視線位置を考慮し, 特定の視線を用いた胸部X線の生成を可能にする。
論文 参考訳(メタデータ) (2023-02-23T17:13:25Z) - Improving Classification Model Performance on Chest X-Rays through Lung
Segmentation [63.45024974079371]
本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。
提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
論文 参考訳(メタデータ) (2022-02-22T15:24:06Z) - Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited
Data [125.7135706352493]
GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。
近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。
本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2021-11-12T18:13:45Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳(メタデータ) (2021-03-19T14:13:56Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。