論文の概要: Benchmarking Biopharmaceuticals Retrieval-Augmented Generation Evaluation

• arxiv url: http://arxiv.org/abs/2504.12342v1
• Date: Tue, 15 Apr 2025 07:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:37:25.907809
• Title: Benchmarking Biopharmaceuticals Retrieval-Augmented Generation Evaluation
• Title（参考訳）: バイオ医薬品の検索と評価
• Authors: Hanmeng Zhong, Linqing Chen, Weilei Wang, Wentao Wu,
• Abstract要約: 大規模言語モデル (LLMs) を評価するために, バイオ医薬品検索生成評価 (BRAGE) を導入する。 従来のQA(QA: Question-Answering)メトリクスは、オープンエンドの検索強化されたQAシナリオでは、正確さと正確なマッチが不足する。 実験の結果, LLMの生薬QRUCには大きなギャップがあり, QRUCの改善が必要であることが示された。
• 参考スコア（独自算出の注目度）: 3.1427813443719868
• License:
• Abstract: Recently, the application of the retrieval-augmented Large Language Models (LLMs) in specific domains has gained significant attention, especially in biopharmaceuticals. However, in this context, there is no benchmark specifically designed for biopharmaceuticals to evaluate LLMs. In this paper, we introduce the Biopharmaceuticals Retrieval-Augmented Generation Evaluation (BRAGE) , the first benchmark tailored for evaluating LLMs' Query and Reference Understanding Capability (QRUC) in the biopharmaceutical domain, available in English, French, German and Chinese. In addition, Traditional Question-Answering (QA) metrics like accuracy and exact match fall short in the open-ended retrieval-augmented QA scenarios. To address this, we propose a citation-based classification method to evaluate the QRUC of LLMs to understand the relationship between queries and references. We apply this method to evaluate the mainstream LLMs on BRAGE. Experimental results show that there is a significant gap in the biopharmaceutical QRUC of mainstream LLMs, and their QRUC needs to be improved.
• Abstract（参考訳）: 近年,特定の領域における検索強化大言語モデル (LLM) の適用が注目されている。 しかし、この文脈では、LSMを評価するためにバイオ医薬品向けに特別に設計されたベンチマークは存在しない。 本稿では,生物医薬品分野におけるLCMのクエリと参照理解能力(QRUC)を評価するための最初のベンチマークであるBRAGE(Biopharmaceuticals Retrieval-Augmented Generation Evaluation)を紹介する。 さらに、従来の質問回答(QA)メトリクスは、オープンな検索強化されたQAシナリオでは正確さと正確さが不足している。 そこで本研究では,LLMのQRUCを評価し,クエリと参照の関係を理解するための引用型分類手法を提案する。 本稿では,BRAGE 上での LLM の評価に本手法を適用した。 実験の結果, LLMの生薬QRUCには大きなギャップがあり, QRUCの改善が必要であることが示された。

関連論文リスト

• MedHallBench: A New Benchmark for Assessing Hallucination in Medical Large Language Models [0.0]
  医療大言語モデル(MLLM)は医療応用の可能性を示している。 幻覚に対する寛容性は、患者医療に重大なリスクをもたらす。 本稿では,MLLMにおける幻覚の評価と緩和のためのベンチマークフレームワークであるMedHallBenchを紹介する。
  論文  参考訳（メタデータ） (2024-12-25T16:51:29Z)
• A Benchmark for Long-Form Medical Question Answering [4.815957808858573]
  長期医療質問応答(QA)における大規模言語モデル(LLM)の評価のためのベンチマークの欠如 既存のQA評価ベンチマークのほとんどは、自動メトリクスと複数項目の質問に焦点を当てている。 本研究は,医科医が注釈を付した長文回答評価を伴う現実の消費者医療質問を特徴とする,新たに公開されたベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T22:54:38Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Can Large Language Models Logically Predict Myocardial Infarction? Evaluation based on UK Biobank Cohort [10.66506859118868]
  大規模言語モデル (LLMs) は臨床的意思決定支援の分野で非常に進歩している。 本研究の目的は,急性心筋梗塞(MI)の発症リスクを論理的推論で予測できることを定量的に評価することである。
  論文  参考訳（メタデータ） (2024-09-22T14:57:31Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• DrBenchmark: A Large Language Understanding Evaluation Benchmark for French Biomedical Domain [8.246368441549967]
  我々はDrBenchmarkと呼ばれるフランスの生物医学言語理解ベンチマークを公開している。 名前付き認識、音声タグ付け、質問回答、意味的テキスト類似性、分類を含む20のタスクを含む。 一般およびバイオメディカル特化データに基づいて8つの最先端の事前訓練マスク付き言語モデル (MLM) を評価し, それらの言語間能力を評価する。
  論文  参考訳（メタデータ） (2024-02-20T23:54:02Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。