論文の概要: Direct Preference Optimization for Suppressing Hallucinated Prior Exams in Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2406.06496v1
• Date: Mon, 10 Jun 2024 17:31:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:49:35.590211
• Title: Direct Preference Optimization for Suppressing Hallucinated Prior Exams in Radiology Report Generation
• Title（参考訳）: 放射線学レポート生成におけるハロゲン化前駆体抑制のための直接選好最適化
• Authors: Oishi Banerjee, Hong-Yu Zhou, Subathra Adithan, Stephen Kwak, Kay Wu, Pranav Rajpurkar,
• Abstract要約: 本稿では, 生成視覚言語モデル(VLM)の振る舞いを, 不要な世代を抑えることで, 放射線学レポート生成を行う手法を提案する。 DPOファインチューニングは,臨床精度測定値のモデル性能を維持しつつ,前科試験を幻覚させるラインの3.2-4.8倍の縮小を実現している。
• 参考スコア（独自算出の注目度）: 13.877112924760425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in generative vision-language models (VLMs) have exciting potential implications for AI in radiology, yet VLMs are also known to produce hallucinations, nonsensical text, and other unwanted behaviors that can waste clinicians' time and cause patient harm. Drawing on recent work on direct preference optimization (DPO), we propose a simple method for modifying the behavior of pretrained VLMs performing radiology report generation by suppressing unwanted types of generations. We apply our method to the prevention of hallucinations of prior exams, addressing a long-established problem behavior in models performing chest X-ray report generation. Across our experiments, we find that DPO fine-tuning achieves a 3.2-4.8x reduction in lines hallucinating prior exams while maintaining model performance on clinical accuracy metrics. Our work is, to the best of our knowledge, the first work to apply DPO to medical VLMs, providing a data- and compute- efficient way to suppress problem behaviors while maintaining overall clinical accuracy.
• Abstract（参考訳）: 生成視覚言語モデル(VLM)の最近の進歩は、放射線学においてAIにエキサイティングな潜在的影響をもたらすが、VLMは幻覚、非感覚的テキスト、および臨床医の時間を浪費し、患者に害を与える可能性のあるその他の望ましくない行動を生み出すことも知られている。 直接選好最適化(DPO)に関する最近の研究に基づき、不要な世代を抑えることにより、放射線学レポート生成を行う事前学習VLMの挙動を簡易に修正する手法を提案する。 本稿では,胸部X線レポート生成モデルにおける長期にわたる問題行動に対処するため,先行試験の幻覚予防に本手法を適用した。 実験全体を通して,DPOの微調整は,臨床精度測定値のモデル性能を維持しつつ,前科試験を幻覚させるラインの3.2-4.8倍の縮小を実現していることがわかった。 我々の研究は、私たちの知る限り、DPOを医療用VLMに適用する最初の取り組みであり、総合的な臨床精度を維持しながら、問題行動を抑制するためのデータと計算効率のよい方法を提供する。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• MINDSETS: Multi-omics Integration with Neuroimaging for Dementia Subtyping and Effective Temporal Study [0.7751705157998379]
  アルツハイマー病(AD)と血管性認知症(VaD)は最も多い認知症である。 本稿では、ADとVaDを正確に区別する革新的なマルチオミクス手法を提案し、89.25%の精度で診断を行う。
  論文  参考訳（メタデータ） (2024-11-06T10:13:28Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Automatic diagnosis of knee osteoarthritis severity using Swin transformer [55.01037422579516]
  変形性膝関節症 (KOA) は膝関節の慢性的な痛みと硬直を引き起こす疾患である。 我々は,Swin Transformer を用いて KOA の重大度を予測する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:49:30Z)
• Deep denoising autoencoder-based non-invasive blood flow detection for arteriovenous fistula [10.030431512848239]
  本稿では,DAE(Deep Denoising Autoencoder)に基づく次元削減と再構成作業を行う手法を提案する。 以上の結果から,DAEが生み出す潜伏表現は0.93の精度で予測を上回った。 ノイズ・ミキシングの導入とノイズ・トゥ・クリーン・スキームの利用により、潜在表現の識別能力が効果的に向上する。
  論文  参考訳（メタデータ） (2023-06-12T04:46:01Z)
• Textual Data Augmentation for Patient Outcomes Prediction [67.72545656557858]
  本稿では,患者の電子カルテに人工的な臨床ノートを作成するための新しいデータ拡張手法を提案する。 生成言語モデルGPT-2を微調整し、ラベル付きテキストを元のトレーニングデータで合成する。 今回,最も多い患者,すなわち30日間の寛解率について検討した。
  論文  参考訳（メタデータ） (2022-11-13T01:07:23Z)
• Improving Radiology Report Generation Systems by Removing Hallucinated References to Non-existent Priors [1.1110995501996481]
  本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。 GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。 CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
  論文  参考訳（メタデータ） (2022-09-27T00:44:41Z)
• Ambiguous Dynamic Treatment Regimes: A Reinforcement Learning Approach [0.0]
  動的処理レジーム(DTR)は、このプロセスの形式化のために広く研究されている。 最適な治療体制を効率的に学習するための強化学習法を開発した。
  論文  参考訳（メタデータ） (2021-12-08T20:22:04Z)
• Detecting Dementia from Speech and Transcripts using Transformers [0.0]
  アルツハイマー病(英語: Alzheimer's disease, AD)は、治療法がないため早期に診断されない場合、日常生活に深刻な影響を与える神経変性疾患である。 現在の研究は、自然発声から認知症を診断することに焦点を当てている。
  論文  参考訳（メタデータ） (2021-10-27T21:00:01Z)
• DTR Bandit: Learning to Make Response-Adaptive Decisions With Low Regret [59.81290762273153]
  動的治療体制 (DTR) はパーソナライズされ適応された多段階の治療計画であり、治療決定を個人の初期特徴に適応させ、その後の各段階における中間結果と特徴に適応させる。 本稿では,探索と搾取を慎重にバランスさせることで,遷移モデルと報酬モデルが線形である場合に,速度-最適後悔を実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-06T13:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。