論文の概要: Protocol for evaluating ChatGPT in biomedical association generation and verification using a RAG-enabled, cross-model majority voting workflow

• arxiv url: http://arxiv.org/abs/2605.30400v1
• Date: Thu, 28 May 2026 16:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.145024
• Title: Protocol for evaluating ChatGPT in biomedical association generation and verification using a RAG-enabled, cross-model majority voting workflow
• Title（参考訳）: バイオメディカルアソシエーション生成・検証におけるChatGPTの評価プロトコル
• Authors: Ahmed Abdeen Hamed, Luis M. Rocha,
• Abstract要約: 本稿では,ChatGPTの疾患中心の関連性を生成する能力を評価するためのプロトコルを提案する。 関連性の生成、生物学的実体の検証、文献による関連性検証について概説する。
• 参考スコア（独自算出の注目度）: 1.76179873429447
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a protocol to evaluate ChatGPT's ability to generate disease-centric biomedical associations. It outlines how we generate the associations, validate the biological entities using biomedical ontologies, and verify associations using literature. The protocol includes a self-consistency strategy to assess generative reliability across ChatGPT models. To address ontology exact-match limitations, we provide a use case performing semantic verification through a workflow enabled by Retrieval-Augmented Generation (RAG) powered by open-source large language models (LLMs). This enables LLMs to establish truth over content generated by other LLMs and expose hallucination.
• Abstract（参考訳）: 本稿では,ChatGPTの疾患中心のバイオメディカル・アソシエーションを創出する能力を評価するためのプロトコルを提案する。 生物医学的なオントロジーを用いた生物の実体の検証、文献による関係の検証について概説する。 このプロトコルには、ChatGPTモデル全体の生成信頼性を評価するための自己整合戦略が含まれている。 オントロジーの正確なマッチ制限に対処するため,オープンソースの大規模言語モデル(LLM)をベースとしたRAG(Retrieval-Augmented Generation)によって実現されたワークフローを通じて意味検証を行うユースケースを提供する。 これにより、LLMは他のLLMが生成した内容に対して真理を定め、幻覚を露呈することができる。

関連論文リスト

• Unlocking Biological Workflows for Robust Protein-Text Question Answering: A Dual-Dimensional RAG Framework [60.82334952881798]
  タンパク-テキスト質問回答(QA)は、自然言語による生物学的配列の解釈に不可欠である。 2D-ProteinRAGは,大規模言語モデル(LLM)を金本位生物研究ワークフロー内で動作させる新しいフレームワークである。 本研究では,2D-Proteinが常に最先端の性能を達成し,微調整ベースラインや他のRAG法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-05-17T05:03:24Z)
• GenOM: Ontology Matching with Description Generation and Large Language Model [19.917106654694894]
  本稿では,大規模言語モデル(LLM)に基づくオントロジーアライメントフレームワークであるGenOMを紹介する。 OAEI Bio-MLトラックで行った実験は、GenOMがしばしば競争力を発揮することを示した。
  論文  参考訳（メタデータ） (2025-08-14T14:48:09Z)
• Biomedical Relation Extraction via Adaptive Document-Relation Cross-Mapping and Concept Unique Identifier [35.79876359248485]
  Document-Level Biomedical Relation extract (Bio-RE) は、バイオメディカルエンティティ間の関係を広範囲にわたるテキスト内で識別することを目的としている。 従来の手法は文書の不完全性を見落とし、外部知識の統合を欠いていることが多い。 大規模言語モデル(LLM)の最近の進歩は、ドキュメントレベルのBio-REに関する上記の問題をすべて探求するきっかけとなりました。
  論文  参考訳（メタデータ） (2025-01-09T11:19:40Z)
• ProtoMed-LLM: An Automatic Evaluation Framework for Large Language Models in Medical Protocol Formulation [0.5266869303483376]
  科学プロトコル定式化タスク(SPFT)におけるLarge Language Models(LLMs)の抜粋 本稿では,SPFT 上で LLM の機能を評価するためのフレキシブルな自動フレームワーク ProtoMed-LLM を提案する。 GPT変異,Llama,Mixtral,Gemma,Cohere,Geminiを評価した。
  論文  参考訳（メタデータ） (2024-10-06T19:28:55Z)
• Document-level Clinical Entity and Relation Extraction via Knowledge Base-Guided Generation [0.869967783513041]
  統一医療言語システム(UMLS)の知識ベースを利用して医療概念を正確に識別する。 本フレームワークは、テキストに関連するUMLS概念を選択し、エンティティを抽出する際の言語モデルガイドのプロンプトと組み合わせる。
  論文  参考訳（メタデータ） (2024-07-13T22:45:46Z)
• Can Large Language Models Augment a Biomedical Ontology with missing Concepts and Relations? [1.1060425537315088]
  LLMとのセマンティックな相互作用を利用して臨床実践ガイドラインを解析する手法を提案する。 プロンプトを使った最初の実験では、手動で生成された金の標準を与えられた有望な結果が得られました。
  論文  参考訳（メタデータ） (2023-11-12T14:20:55Z)
• Fact-Checking Generative AI: Ontology-Driven Biological Graphs for Disease-Gene Link Verification [45.65374554914359]
  本研究の目的は,ChatGPTの内容から得られた生物学的グラフに埋め込まれた知識の事実チェックを実現することである。 そこで我々は,ChatGPTの関連エンティティの系統的尋問を可能にする生物学的ネットワークアプローチを採用した。 本研究は,ChatGPT生成テキスト中の集合疾患遺伝子関係の高精度な解析を行った。
  論文  参考訳（メタデータ） (2023-08-07T22:13:30Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
  臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。 本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。 提案手法により,下流タスクの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-08T03:56:31Z)
• UmlsBERT: Clinical Domain Knowledge Augmentation of Contextual Embeddings Using the Unified Medical Language System Metathesaurus [73.86656026386038]
  事前学習プロセス中にドメイン知識を統合するコンテキスト埋め込みモデルであるUmlsBERTを紹介する。 これらの2つの戦略を適用することで、UmlsBERTは、臨床領域の知識を単語埋め込みにエンコードし、既存のドメイン固有モデルより優れている。
  論文  参考訳（メタデータ） (2020-10-20T15:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。