論文の概要: EvidenceMap: Learning Evidence Analysis to Unleash the Power of Small Language Models for Biomedical Question Answering

• arxiv url: http://arxiv.org/abs/2501.12746v2
• Date: Sun, 26 Jan 2025 09:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:59:46.789193
• Title: EvidenceMap: Learning Evidence Analysis to Unleash the Power of Small Language Models for Biomedical Question Answering
• Title（参考訳）: EvidenceMap: バイオメディカル質問応答のための小言語モデルの力を解き放つためのエビデンス分析
• Authors: Chang Zong, Jian Wan, Siliang Tang, Lei Zhang,
• Abstract要約: EvidenceMapは、訓練済みの小さな言語モデルによって、バイオメディカルエビデンス(生医学的エビデンス)の複数の側面を明示的に学習できるようにすることを目指している。 66Mパラメータの言語モデルを微調整し、8B LLMのRAG法を19.9%、基準ベースの品質と精度の5.7%で上回った。
• 参考スコア（独自算出の注目度）: 29.70354593617791
• License:
• Abstract: When addressing professional questions in the biomedical domain, humans typically acquire multiple pieces of information as evidence and engage in multifaceted evidence analysis to provide high-quality answers. Current LLM-based answer generation methods lack a detailed definition and learning process for evidence analysis, leading to the risk of error propagation and hallucinations while using evidence. Although increasing the parameter size of LLMs can alleviate these issues, it also presents challenges in model training and deployment with limited resources. In this study, we propose EvidenceMap, which aims to enable a tiny pre-trained language model to explicitly learn multiple aspects of biomedical evidence, including supportive evaluation, logical correlation and content summarization, thereby latently guiding a small generative model (around 3B parameters) to provide textual responses. Experimental results demonstrate that our method, fine-tuning a language model with 66M parameters, exceeds the RAG method with an 8B LLM by 19.9% and 5.7% in reference-based quality and accuracy, respectively.
• Abstract（参考訳）: バイオメディカル領域で専門的な問題に取り組む際、人間は通常、複数の情報を証拠として取得し、高品質な答えを提供するために多面的な証拠分析を行う。 現在のLCMベースの回答生成法では、エビデンス分析のための詳細な定義と学習プロセスが欠如しており、エビデンスを用いてエラーの伝播と幻覚のリスクが生じる。 LLMのパラメータサイズの増加はこれらの問題を緩和するが、限られたリソースでモデルトレーニングやデプロイを行う際の課題も提示する。 本研究では, 支援的評価, 論理的相関, 内容要約など, バイオメディカルエビデンス(生物医学的エビデンス)の複数の側面を明確に学習することを目的としたEvidenceMapを提案する。 実験の結果,66Mパラメータの言語モデルを微調整する手法は,基準ベースの品質と精度の5.7%,8B LLMのRAG法を19.9%上回ることがわかった。

関連論文リスト

• Overview of TREC 2024 Biomedical Generative Retrieval (BioGen) Track [18.3893773380282]
  幻覚や折り畳みは、生物医学領域で大きな言語モデル(LLM)を使用する際の重要な課題の1つである。 不正確性は、医学的質問への回答、臨床的な決定、医学的な研究の評価など、リスクの高い状況において特に有害である可能性がある。
  論文  参考訳（メタデータ） (2024-11-27T05:43:00Z)
• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• M-QALM: A Benchmark to Assess Clinical Reading Comprehension and Knowledge Recall in Large Language Models via Question Answering [14.198330378235632]
  我々は,3つのジェネラリストと3つの専門的なバイオメディカルサブドメインにおいて,22のデータセットに関する大規模な実験研究を行うために,複数選択と抽象質問応答を用いた。 15個のLLMの性能の多面的解析により、リコールや理解の向上につながる命令チューニングなどの成功要因が明らかになった。 最近提案されたドメイン適応モデルには十分な知識が欠如している可能性があるが、収集した医療知識データセットを直接微調整することは、奨励的な結果を示している。 我々は、必要な知識を単に思い出し、提示された知識と統合するモデルの能力の間に大きなギャップがあることを明らかにする、スキル指向手動エラー解析で定量的結果を補完する。
  論文  参考訳（メタデータ） (2024-06-06T02:43:21Z)
• Graph-Based Retriever Captures the Long Tail of Biomedical Knowledge [2.2814097119704058]
  大規模言語モデル(LLM)は、膨大な知識を要約して提示することで、情報の検索方法を変えつつある。 LLMはトレーニングセットから最も頻繁に見られる情報を強調し、まれな情報を無視する傾向があります。 本稿では,これらのクラスタをダウンサンプリングし,情報過負荷問題を緩和するために知識グラフを活用する新しい情報検索手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T18:31:11Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Question-Answering Based Summarization of Electronic Health Records using Retrieval Augmented Generation [0.0]
  本稿では,セマンティック検索,検索拡張生成,質問応答を組み合わせることで,欠点を軽減できる手法を提案する。 我々のアプローチは非常に効率的で、訓練は最小限から不要であり、LLMの「幻覚」問題に苦しむことはない。 要約には繰り返しの内容はなく、特定の質問に対する多様な回答があるため、多様性を保証する。
  論文  参考訳（メタデータ） (2024-01-03T00:09:34Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。