論文の概要: Retrieval-augmented systems can be dangerous medical communicators

• arxiv url: http://arxiv.org/abs/2502.14898v1
• Date: Tue, 18 Feb 2025 01:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:31.253429
• Title: Retrieval-augmented systems can be dangerous medical communicators
• Title（参考訳）: 検索機能強化システムは危険な医療通信事業者になり得る
• Authors: Lionel Wong, Ayman Ali, Raymond Xiong, Shannon Zeijang Shen, Yoon Kim, Monica Agrawal,
• Abstract要約: 患者は長年、健康に関する情報をオンラインで求めてきた。 検索強化生成と引用接地は、幻覚を減らし、AI生成応答の精度を向上させる方法として広く推進されている。 本論文は,資料から引き出された文字通り正確な内容が幻覚に反する場合でも,誤解を招く可能性があることを論じる。
• 参考スコア（独自算出の注目度）: 21.371504193281226
• License:
• Abstract: Patients have long sought health information online, and increasingly, they are turning to generative AI to answer their health-related queries. Given the high stakes of the medical domain, techniques like retrieval-augmented generation and citation grounding have been widely promoted as methods to reduce hallucinations and improve the accuracy of AI-generated responses and have been widely adopted into search engines. This paper argues that even when these methods produce literally accurate content drawn from source documents sans hallucinations, they can still be highly misleading. Patients may derive significantly different interpretations from AI-generated outputs than they would from reading the original source material, let alone consulting a knowledgeable clinician. Through a large-scale query analysis on topics including disputed diagnoses and procedure safety, we support our argument with quantitative and qualitative evidence of the suboptimal answers resulting from current systems. In particular, we highlight how these models tend to decontextualize facts, omit critical relevant sources, and reinforce patient misconceptions or biases. We propose a series of recommendations -- such as the incorporation of communication pragmatics and enhanced comprehension of source documents -- that could help mitigate these issues and extend beyond the medical domain.
• Abstract（参考訳）: 患者は長年、健康に関する情報をオンラインで求めてきた。 医学領域の高利害を鑑み、幻覚を減らしAI生成の精度を向上させる手法として、検索強化世代や引用接地といった技術が広く推進され、検索エンジンに広く採用されている。 本論文は,資料から引き出された文字通り正確な内容が幻覚に反する場合でも,誤解を招く可能性があることを論じる。 患者は、知識のある臨床医に相談するだけでなく、元のソース資料を読むことから、AIが生成したアウトプットからかなり異なる解釈を導き出すかもしれない。 論争のある診断と手順の安全性を含むトピックに関する大規模クエリ分析を通じて、現在のシステムから得られる最適解の定量的かつ定性的な証拠を用いて、議論を支援する。 特に、これらのモデルが事実を非テクスチャ化し、重要な情報源を省略し、患者の誤解や偏見を補強する傾向について強調する。 我々は,これらの問題を緩和し,医療領域を超えて拡張する上で有効な,コミュニケーションの実用性の導入やソース文書の理解の向上など,一連の勧告を提案する。

関連論文リスト

• Iterative Tree Analysis for Medical Critics [5.617649111108429]
  反復木解析(ITA)は、長い医学的テキストから暗黙の主張を抽出し、反復的で適応的な木のような推論プロセスを通じて各主張を検証するように設計されている。 以上の結果から,ITAは複雑な医療用テキスト検証タスクにおける事実不正確さを10%精度で検出する上で,従来手法よりも大幅に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-01-18T03:13:26Z)
• Towards Reliable Medical Question Answering: Techniques and Challenges in Mitigating Hallucinations in Language Models [1.03590082373586]
  本稿では,知識ベースタスク,特に医療領域における幻覚を緩和するための既存の手法のスコーピング研究を行う。 この論文で取り上げられた主要な手法は、検索・拡張生成(RAG)ベースの技術、反復的なフィードバックループ、教師付き微調整、迅速なエンジニアリングである。 これらのテクニックは、一般的な文脈では有望だが、最新の専門知識と厳格な医療ガイドラインの厳格な遵守に対するユニークな要求のために、医療領域のさらなる適応と最適化を必要としている。
  論文  参考訳（メタデータ） (2024-08-25T11:09:15Z)
• MedInsight: A Multi-Source Context Augmentation Framework for Generating Patient-Centric Medical Responses using Large Language Models [3.0874677990361246]
  大きな言語モデル(LLM)は、人間のような応答を生成する素晴らしい能力を示している。 我々は,LLM入力を関連背景情報で拡張する新しい検索フレームワークMedInsightを提案する。 MTSamplesデータセットの実験は、文脈的に適切な医療応答を生成するMedInsightの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-13T15:20:30Z)
• A survey of recent methods for addressing AI fairness and bias in biomedicine [48.46929081146017]
  人工知能システムは、人種や性別に基づくような社会的不平等を永続するか、偏見を示すことができる。 バイオメディカル自然言語処理 (NLP) やコンピュータビジョン (CV) の分野での様々な脱バイアス法に関する最近の論文を調査した。 我々は,2018年1月から2023年12月にかけて,複数のキーワードの組み合わせを用いて,PubMed,ACMデジタルライブラリ,IEEE Xploreに関する文献検索を行った。 バイオメディシンに応用可能な一般領域からの他の方法について検討し, バイアスに対処し, 公平性を向上する方法について検討した。
  論文  参考訳（メタデータ） (2024-02-13T06:38:46Z)
• Leveraging Generative AI for Clinical Evidence Summarization Needs to Ensure Trustworthiness [47.51360338851017]
  エビデンスベースの医療は、医療の意思決定と実践を最大限に活用することで、医療の質を向上させることを約束する。 様々な情報源から得ることができる医学的証拠の急速な成長は、明らかな情報の収集、評価、合成に挑戦する。 大規模言語モデルによって実証された、生成AIの最近の進歩は、困難な作業の促進を約束する。
  論文  参考訳（メタデータ） (2023-11-19T03:29:45Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
  対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。 多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。 本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T17:40:30Z)
• Informing clinical assessment by contextualizing post-hoc explanations of risk prediction models in type-2 diabetes [50.8044927215346]
  本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。 我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。 本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
  論文  参考訳（メタデータ） (2023-02-11T18:07:11Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• On the Combined Use of Extrinsic Semantic Resources for Medical Information Search [0.0]
  本研究は,頭部医学的概念を冗長な問合せで強調・拡張する枠組みを開発する。 また、意味的に強化された逆インデックス文書も作成する。 提案手法の有効性を実証するため,CLEF 2014データセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2020-05-17T14:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。