論文の概要: Preference Fine-Tuning for Factuality in Chest X-Ray Interpretation Models Without Human Feedback

• arxiv url: http://arxiv.org/abs/2410.07025v1
• Date: Wed, 9 Oct 2024 16:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 22:57:18.178075
• Title: Preference Fine-Tuning for Factuality in Chest X-Ray Interpretation Models Without Human Feedback
• Title（参考訳）: ヒトのフィードバックを伴わない胸部X線解釈モデルにおけるファクタリティの選好的微調整
• Authors: Dennis Hein, Zhihong Chen, Sophie Ostmeier, Justin Xu, Maya Varma, Eduardo Pontes Reis, Arne Edward Michalson, Christian Bluethgen, Hyun Joo Shin, Curtis Langlotz, Akshay S Chaudhari,
• Abstract要約: 放射線技師は医療画像を医療報告に翻訳することで重要な役割を担っている。 視覚言語モデル(VLM)を用いた自動アプローチは、アシスタントとして有望であるが、非常に高い精度を必要とする。 胸部X線(CXR)レポート生成に着目し,放射線学におけるVLMの自動選好アライメント手法を提案する。
• 参考スコア（独自算出の注目度）: 10.826651024680169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiologists play a crucial role by translating medical images into medical reports. However, the field faces staffing shortages and increasing workloads. While automated approaches using vision-language models (VLMs) show promise as assistants, they require exceptionally high accuracy. Most current VLMs in radiology rely solely on supervised fine-tuning (SFT). Meanwhile, in the general domain, additional preference fine-tuning has become standard practice. The challenge in radiology lies in the prohibitive cost of obtaining radiologist feedback. We propose a scalable automated preference alignment technique for VLMs in radiology, focusing on chest X-ray (CXR) report generation. Our method leverages publicly available datasets with an LLM-as-a-Judge mechanism, eliminating the need for additional expert radiologist feedback. We evaluate and benchmark five direct alignment algorithms (DAAs). Our results show up to a 57.4% improvement in average GREEN scores, a LLM-based metric for evaluating CXR reports, and a 9.2% increase in an average across six metrics (domain specific and general), compared to the SFT baseline. We study reward overoptimization via length exploitation, with reports lengthening by up to 3.2x. To assess a potential alignment tax, we benchmark on six additional diverse tasks, finding no significant degradations. A reader study involving four board-certified radiologists indicates win rates of up to 0.62 over the SFT baseline, while significantly penalizing verbosity. Our analysis provides actionable insights for the development of VLMs in high-stakes fields like radiology.
• Abstract（参考訳）: 放射線技師は医療画像を医療報告に翻訳することで重要な役割を担っている。 しかし、現場は人員不足とワークロードの増加に直面している。 視覚言語モデル(VLM)を用いた自動アプローチは、アシスタントとして有望であるが、非常に高い精度を必要とする。 放射線学における現在のVLMのほとんどは、教師付き微調整(SFT)のみに依存している。 一方、一般ドメインでは、好みの微調整が標準となっている。 放射線学における課題は、放射線技師のフィードバックを得ることの禁止費用にある。 胸部X線(CXR)レポート生成に焦点をあてて,放射線学におけるVLMの自動選好アライメント手法を提案する。 提案手法は,LLM-as-a-Judge機構で利用可能なデータセットを活用し,専門的な放射線学者のフィードバックを不要にする。 我々は,5つの直接アライメントアルゴリズム(DAA)を評価し,ベンチマークを行った。 その結果、平均GREENスコアが57.4%向上し、CXRレポートを評価するLLMベースの指標が、SFTベースラインと比較して6つの指標(ドメイン固有および一般)の平均が9.2%向上した。 本研究は,最大3.2倍の長文化による報酬過小評価について検討した。 潜在的なアライメント税を評価するため、我々は6つの追加の多様なタスクをベンチマークし、重大な劣化は見つからなかった。 4人の放射線学者による調査では、SFTベースラインに対して最大0.62の勝利率を示し、冗長性を著しく罰している。 我々の分析は、放射線学のような高度な分野におけるVLMの開発に有効な知見を提供する。

関連論文リスト

• Towards a Benchmark for Colorectal Cancer Segmentation in Endorectal Ultrasound Videos: Dataset and Model Development [59.74920439478643]
  本稿では,多様なERUSシナリオをカバーする最初のベンチマークデータセットを収集し,注釈付けする。 ERUS-10Kデータセットは77の動画と10,000の高解像度アノテートフレームで構成されています。 本稿では,ASTR (Adaptive Sparse-context TRansformer) という大腸癌セグメンテーションのベンチマークモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-19T15:04:42Z)
• RadioRAG: Factual Large Language Models for Enhanced Diagnostics in Radiology Using Dynamic Retrieval Augmented Generation [1.8204982093237623]
  大規模言語モデル(LLM)は、医学における人工知能(AI)の分野を進歩させた。 LLMは静的なトレーニングデータセットに基づいて、古い情報や不正確な情報を生成することが多い。 我々は、信頼できるラジオロジックオンラインソースからデータをリアルタイムで取得するエンドツーエンドフレームワークとして、Radiology RAG(RadioRAG)を開発した。
  論文  参考訳（メタデータ） (2024-07-22T13:29:56Z)
• Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning [16.849933628738277]
  放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。 本稿では,新しいRRG法である textbfLM-RRG について紹介する。 MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-11T13:47:11Z)
• How Well Do Multi-modal LLMs Interpret CT Scans? An Auto-Evaluation Framework for Analyses [14.884877292068351]
  本研究ではGPTRadScore'という新しい評価フレームワークを紹介する。 GPT-4 with Vision (GPT-4V)、Gemini Pro Vision、LLaVA-Med、RadFMといったマルチモーダルLCMの、将来的な発見のための記述を生成する能力を評価する。 GPT-4に基づく分解手法を用いて、GPTRadScoreは生成した記述をゴールドスタンダードのレポート文と比較し、その精度を身体部分、位置、発見の種類で分析する。
  論文  参考訳（メタデータ） (2024-03-08T21:16:28Z)
• Leveraging Professional Radiologists' Expertise to Enhance LLMs' Evaluation for Radiology Reports [22.599250713630333]
  提案手法は,Large Language Models (LLMs) を用いた専門的放射線技師の専門知識を相乗化する。 我々のアプローチは、LLM評価を放射線学の基準と整合させ、人間とAIが生成したレポートの詳細な比較を可能にする。 実験の結果, 詳細な GPT-4 (5-shot) モデルでは0.48 のスコアが得られ, METEOR のスコアは0.19 を上回った。
  論文  参考訳（メタデータ） (2024-01-29T21:24:43Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
  本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。 MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:44:28Z)
• Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
  放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。 提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。 本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
  論文  参考訳（メタデータ） (2023-07-19T05:41:14Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
  X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。 X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。 画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
  論文  参考訳（メタデータ） (2023-05-26T07:12:35Z)
• Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
  我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T18:33:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。