論文の概要: RadGazeGen: Radiomics and Gaze-guided Medical Image Generation using Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.00307v1
• Date: Tue, 1 Oct 2024 01:10:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:26:14.764758
• Title: RadGazeGen: Radiomics and Gaze-guided Medical Image Generation using Diffusion Models
• Title（参考訳）: RadGazeGen:拡散モデルを用いた放射線とガゼ誘導医療画像生成
• Authors: Moinak Bhattacharya, Gagandeep Singh, Shubham Jain, Prateek Prasanna,
• Abstract要約: RadGazeGenは、専門家の視線パターンと放射能特徴マップをテキストから画像への拡散モデルのコントロールとして統合するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 11.865553250973589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present RadGazeGen, a novel framework for integrating experts' eye gaze patterns and radiomic feature maps as controls to text-to-image diffusion models for high fidelity medical image generation. Despite the recent success of text-to-image diffusion models, text descriptions are often found to be inadequate and fail to convey detailed disease-specific information to these models to generate clinically accurate images. The anatomy, disease texture patterns, and location of the disease are extremely important to generate realistic images; moreover the fidelity of image generation can have significant implications in downstream tasks involving disease diagnosis or treatment repose assessment. Hence, there is a growing need to carefully define the controls used in diffusion models for medical image generation. Eye gaze patterns of radiologists are important visuo-cognitive information, indicative of subtle disease patterns and spatial location. Radiomic features further provide important subvisual cues regarding disease phenotype. In this work, we propose to use these gaze patterns in combination with standard radiomics descriptors, as controls, to generate anatomically correct and disease-aware medical images. RadGazeGen is evaluated for image generation quality and diversity on the REFLACX dataset. To demonstrate clinical applicability, we also show classification performance on the generated images from the CheXpert test set (n=500) and long-tailed learning performance on the MIMIC-CXR-LT test set (n=23550).
• Abstract（参考訳）: 本研究では,高忠実度医用画像生成のためのテキスト・ツー・イメージ拡散モデルに対する制御として,専門家の視線パターンと放射能特徴マップを統合する新しいフレームワークRadGazeGenを提案する。 近年のテキスト・ツー・イメージの拡散モデルの成功にもかかわらず、テキストの記述は不十分であり、これらのモデルに詳細な病原性情報を伝えるのに失敗することが多い。 現実的な画像を生成するためには、解剖学、疾患のテクスチャパターン、および疾患の位置が極めて重要であり、画像生成の忠実さは、疾患診断や治療目的の評価を含む下流のタスクに重大な影響を及ぼす可能性がある。 したがって、医療画像生成のための拡散モデルで使用される制御を慎重に定義する必要性が高まっている。 放射線医の視線パターンは、微妙な疾患パターンと空間的位置を示す重要な視線認知情報である。 放射線学的特徴は、病気の表現型に関する重要な視覚下手がかりを提供する。 本研究では, 標準的な放射線ディスクリプタと組み合わせて, 解剖学的に正しく, 疾患を認識できる医用画像を生成することを提案する。 RadGazeGenはREFLACXデータセットで画像生成の品質と多様性を評価する。 また,臨床応用性を示すため,CheXpertテストセット(n=500)から生成された画像の分類性能とMIMIC-CXR-LTテストセット(n=23550)の長期学習性能を示す。

関連論文リスト

• Deep Generative Models Unveil Patterns in Medical Images Through Vision-Language Conditioning [3.4299097748670255]
  深部生成モデルでは、データセットのサイズと品質を向上することにより、医療画像解析が大幅に進歩している。 画像合成プロセスの指針として,臨床データとセグメンテーションマスクを組み合わせることによって,ハイブリッド条件による生成構造を用いる。 我々のアプローチは、画像と臨床情報の視覚的相関が低いため、従来の医療報告誘導合成よりも困難であり、課題である。
  論文  参考訳（メタデータ） (2024-10-17T17:48:36Z)
• VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
  医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。 本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。 結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
  論文  参考訳（メタデータ） (2024-01-02T19:51:49Z)
• Trade-offs in Fine-tuned Diffusion Models Between Accuracy and Interpretability [5.865936619867771]
  生成拡散モデルにおける従来の計測値とモデル解釈可能性による画像の忠実度との間に連続的なトレードオフが生じる。 我々は、真に解釈可能な生成モデルを開発するための設計原則のセットを提示する。
  論文  参考訳（メタデータ） (2023-03-31T09:11:26Z)
• Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains [3.8137985834223502]
  臨床の文脈を忠実に描写する医療画像の生成モデルを構築することは、医療データセットの不明瞭さを軽減するのに役立つ。 安定拡散パイプラインのサブコンポーネントを探索し、モデルを微調整して医用画像を生成する。 我々の最良の性能モデルは、安定な拡散ベースラインを改善し、合成ラジオグラフィ画像に現実的な異常を挿入するように条件付けすることができる。
  論文  参考訳（メタデータ） (2022-10-09T01:43:08Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Texture Characterization of Histopathologic Images Using Ecological Diversity Measures and Discrete Wavelet Transform [82.53597363161228]
  本稿では,病理組織像間でテクスチャを特徴付ける手法を提案する。 2つのHIデータセットに有望な精度で、そのような画像の固有特性を定量化することが可能である。
  論文  参考訳（メタデータ） (2022-02-27T02:19:09Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。