論文の概要: Retrieval Augmented Chest X-Ray Report Generation using OpenAI GPT models

• arxiv url: http://arxiv.org/abs/2305.03660v1
• Date: Fri, 5 May 2023 16:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 13:13:38.178445
• Title: Retrieval Augmented Chest X-Ray Report Generation using OpenAI GPT models
• Title（参考訳）: OpenAI GPTモデルを用いた検索用胸部X線レポート生成
• Authors: Mercy Ranjit, Gopinath Ganapathy, Ranjit Manuel, Tanuja Ganu
• Abstract要約: RAGは、対照的に事前訓練された視覚言語モデルからのマルチモーダルな埋め込みを利用する自動放射線学レポート作成のためのアプローチである。 BERTScoreは0.2865(Delta+ 25.88%)、Sembスコアは0.4026(Delta+ 6.31%)である。
• 参考スコア（独自算出の注目度）: 0.9339914898177185
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose Retrieval Augmented Generation (RAG) as an approach for automated radiology report writing that leverages multimodally aligned embeddings from a contrastively pretrained vision language model for retrieval of relevant candidate radiology text for an input radiology image and a general domain generative model like OpenAI text-davinci-003, gpt-3.5-turbo and gpt-4 for report generation using the relevant radiology text retrieved. This approach keeps hallucinated generations under check and provides capabilities to generate report content in the format we desire leveraging the instruction following capabilities of these generative models. Our approach achieves better clinical metrics with a BERTScore of 0.2865 ({\Delta}+ 25.88%) and Semb score of 0.4026 ({\Delta}+ 6.31%). Our approach can be broadly relevant for different clinical settings as it allows to augment the automated radiology report generation process with content relevant for that setting while also having the ability to inject user intents and requirements in the prompts as part of the report generation process to modulate the content and format of the generated reports as applicable for that clinical setting.
• Abstract（参考訳）: 本稿では,入力ラジオグラフィ画像の候補画像とOpenAI テキスト-davinci-003,gpt-3.5-turbo,gpt-4 などの一般領域生成モデルの検索に,比較的に事前訓練された視覚言語モデルからのマルチモーダルな埋め込みを利用した自動ラジオロジーレポート作成のためのアプローチとして,RAG(Retrieval Augmented Generation)を提案する。 このアプローチは、幻覚世代をチェックし続け、これらの生成モデルの能力に従って命令を活用したいフォーマットでレポートコンテンツを生成する機能を提供する。 提案手法はBERTScoreが0.2865({\Delta}+25.88%)、Sembスコアが0.4026({\Delta}+6.31%)である。 本研究のアプローチは, 自動放射線診断レポート生成プロセスに関連性があり, また, 報告生成プロセスの一部として, 利用者の意図や要求をインジェクトし, 生成したレポートの内容やフォーマットを, その臨床環境に適用できるように調整できる能力を有するため, 様々な臨床環境に広く適用することができる。

関連論文リスト

• Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
  胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。 我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。 我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T01:29:47Z)
• Reshaping Free-Text Radiology Notes Into Structured Reports With Generative Transformers [0.29530625605275984]
  構造化報告(SR)は様々な医療社会で推奨されている。 自由テキストレポートから情報を抽出するパイプラインを提案する。 我々の研究は自然言語処理(NLP)とトランスフォーマーベースのモデルを活用することを目的としている。
  論文  参考訳（メタデータ） (2024-03-27T18:38:39Z)
• RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance [53.20640629352422]
  会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。 RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。 本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
  論文  参考訳（メタデータ） (2023-11-30T16:28:40Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
  そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。 提案手法は画像とテキストデータを融合して生成プロセスを強化する。 我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
  論文  参考訳（メタデータ） (2023-09-01T22:08:32Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Improving Radiology Report Generation Systems by Removing Hallucinated References to Non-existent Priors [1.1110995501996481]
  本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。 GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。 CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
  論文  参考訳（メタデータ） (2022-09-27T00:44:41Z)
• Generating Radiology Reports via Memory-driven Transformer [38.30011851429407]
  本稿では,メモリ駆動型トランスフォーマを用いた放射線学レポートの作成を提案する。 IU X線とMIMIC-CXRの2つの代表的な放射線学報告データセットの実験結果
  論文  参考訳（メタデータ） (2020-10-30T04:08:03Z)
• Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation [26.846912996765447]
  我々は,事実的完全かつ一貫した放射線学報告の創出を促進するために,新たな2つの簡単な報奨制度を導入する。 私たちのシステムでは,ベースラインよりも現実的に完全で一貫性のある世代が生まれることが示されています。
  論文  参考訳（メタデータ） (2020-10-20T05:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。