論文の概要: Understanding the Impact of Confidence in Retrieval Augmented Generation: A Case Study in the Medical Domain

• arxiv url: http://arxiv.org/abs/2412.20309v1
• Date: Sun, 29 Dec 2024 00:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:18.085517
• Title: Understanding the Impact of Confidence in Retrieval Augmented Generation: A Case Study in the Medical Domain
• Title（参考訳）: 検索世代拡大における信頼感の影響の理解:医療領域を事例として
• Authors: Shintaro Ozaki, Yuta Kato, Siyuan Feng, Masayo Tomita, Kazuki Hayashi, Ryoma Obara, Masafumi Oyamada, Katsuhiko Hayashi, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 本研究では,RAGが医療領域内の信頼度に与える影響について,様々な構成とモデルを用いて検討した。 その結果,入力プロンプトのモデル,設定,フォーマットによって,信頼度や精度に大きな変化があることが判明した。
• 参考スコア（独自算出の注目度）: 27.517686277349735
• License:
• Abstract: Retrieval Augmented Generation (RAG) complements the knowledge of Large Language Models (LLMs) by leveraging external information to enhance response accuracy for queries. This approach is widely applied in several fields by taking its advantage of injecting the most up-to-date information, and researchers are focusing on understanding and improving this aspect to unlock the full potential of RAG in such high-stakes applications. However, despite the potential of RAG to address these needs, the mechanisms behind the confidence levels of its outputs remain underexplored, although the confidence of information is very critical in some domains, such as finance, healthcare, and medicine. Our study focuses the impact of RAG on confidence within the medical domain under various configurations and models. We evaluate confidence by treating the model's predicted probability as its output and calculating Expected Calibration Error (ECE) and Adaptive Calibration Error (ACE) scores based on the probabilities and accuracy. In addition, we analyze whether the order of retrieved documents within prompts calibrates the confidence. Our findings reveal large variation in confidence and accuracy depending on the model, settings, and the format of input prompts. These results underscore the necessity of optimizing configurations based on the specific model and conditions.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG) は、クエリの応答精度を高めるために外部情報を活用することで、Large Language Models (LLM) の知識を補完する。 このアプローチは、最新の情報を注入する利点を生かして、いくつかの分野で広く適用されており、研究者は、RAGの潜在能力を最大限に活用するために、この側面を理解し改善することに注力している。 しかしながら、RAGがこれらのニーズに対処する可能性にもかかわらず、そのアウトプットの信頼レベルの背後にあるメカニズムはいまだ解明されていない。 本研究は,RAGが医療領域内の様々な構成やモデルにおける信頼性に与える影響に焦点を当てた。 モデルの予測確率をその出力として扱い、予測校正誤差(ECE)と適応校正誤差(ACE)のスコアを確率と精度に基づいて算出することで信頼性を評価する。 さらに,検索した文書の順序が信頼を喚起するかどうかを解析する。 その結果,入力プロンプトのモデル,設定,フォーマットによって,信頼度や精度に大きな変化があることが判明した。 これらの結果は、特定のモデルと条件に基づいて構成を最適化する必要性を浮き彫りにしている。

関連論文リスト

• Fragility-aware Classification for Understanding Risk and Improving Generalization [6.926253982569273]
  リスク・リバースの観点から分類性能を評価する新しい指標であるFragility Index(FI)を導入する。 我々は, クロスエントロピー損失, ヒンジ型損失, リプシッツ損失の正確な修正を導き, 深層学習モデルへのアプローチを拡張した。
  論文  参考訳（メタデータ） (2025-02-18T16:44:03Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Quantifying calibration error in modern neural networks through evidence based theory [0.0]
  本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。 我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。 提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
  論文  参考訳（メタデータ） (2024-10-31T23:54:21Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Are Data Augmentation Methods in Named Entity Recognition Applicable for Uncertainty Estimation? [26.336947440529713]
  名前付きエンティティ認識(NER)タスクにおけるデータの増大が信頼度校正と不確実性評価に与える影響について検討する。 また,データ拡張により,言語間および言語間におけるキャリブレーションや不確実性が向上することを示す。 また,増量によりキャリブレーションや不確実性がさらに向上することが示唆された。
  論文  参考訳（メタデータ） (2024-07-02T08:49:43Z)
• Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation [47.42366169887162]
  Credibility-Aware Generation (CAG) は、信頼性に基づいて情報を識別・処理する能力を備えたモデルを提供することを目的としている。 提案モデルは,生成に対する信頼性を効果的に理解し活用し,検索強化により他のモデルよりも大幅に優れ,ノイズの多い文書による破壊に対するレジリエンスを示す。
  論文  参考訳（メタデータ） (2024-04-10T07:56:26Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。