論文の概要: Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications
- arxiv url: http://arxiv.org/abs/2608.07250v1
- Date: Fri, 07 Aug 2026 14:07:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.52668
- Title: Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications
- Title（参考訳）: 人工知能は、微生物発生研究出版のエビデンス抽出と批判的評価におけるドメインエキスパートと一致する
- Abstract要約: フルテキスト内の矛盾点の方法論的評価と同定は、最も永続的なLSM脆弱性であった。
LLM応答は専門家と密接に一致し、GPT-5とGPT-5 Nanoは専門家と区別できないスコア分布を達成した。
- 参考スコア（独自算出の注目度）: 4.342264393386239
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Confirmed oncogenic microbes contribute significantly to cancer burden. Identifying novel microbial oncogenicity could yield strategies that will reduce disease burdens. However, relevant evidence is dispersed and infeasible for humans to comprehensively synthesize. LLMs may enable scalable, expert-level systematic evidence synthesis to identify microbe-cancer pairs; however, such capabilities have not yet been demonstrated. Domain experts were recruited to create a dataset to benchmark LLM performance (Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5, GPT-5 Nano) on 24 research papers using MMTV-LV and breast cancer as a case study. We devised a structured template for evidence extraction and appraisal, consisting of MCQ, Likert-scale, multi-select, and free-text question types (77 items across 24 papers). Agreement between (1) experts and (2) experts and each LLM was determined per question instance using novel metrics. LLMs were assessed by comparing inter-expert and expert-LLM agreement distributions to determine whether LLMs behaved as additional experts by increasing or maintaining inter-expert agreement. Free-text responses were further evaluated qualitatively. Across all question types, LLM responses aligned closely with experts, with GPT-5 and GPT-5 Nano achieving score distributions indistinguishable from experts. Gemini models behaved similarly but were significantly more lenient in applying microbial oncogenesis criteria. Hallucinations were rare. Methodological appraisal and identification of contradictions within full-texts were the most persistent LLM vulnerabilities. GPT-5 and GPT-5 Nano were indistinguishable from experts on structured domain research paper evaluation tasks. This supports use of LLMs for automated systematic evidence synthesis. However, methodological appraisal tasks and contradiction identification in full-texts remain weaknesses requiring strengthening.
- Abstract（参考訳）: 腫瘍原性微生物はがんの負担に大きく寄与する。
新規微生物の発癌性を同定することは、病気の負担を軽減する戦略をもたらす可能性がある。
しかし、関連する証拠は分散しており、人間が包括的に合成することは不可能である。
LLMは、スケーラブルで専門家レベルの体系的なエビデンスを合成して、微生物とがんのペアを特定することができるが、そのような能力はまだ実証されていない。
MMTV-LVと乳がんをケーススタディとして用いた24の研究論文において、LLMのパフォーマンスをベンチマークするデータセット(Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-5, GPT-5 Nano)を作成するためにドメインの専門家が採用された。
MCQ, Likert-scale, multi-select, and free-text question type (24論文77項目)からなるエビデンス抽出と評価のための構造化テンプレートを考案した。
1) 専門家と(2)専門家の合意と, それぞれのLSMを, 新たな指標を用いて検討した。
LLMは、専門家間および専門家間合意の分布を比較して評価され、専門家間合意を拡大または維持することにより、LLMが追加の専門家として振る舞うかどうかを判定した。
自由文応答は質的にさらに評価された。
全ての質問タイプにおいて、LPM応答は専門家と密接に一致し、GPT-5とGPT-5 Nanoは専門家と区別できないスコア分布を達成した。
ジェミニモデルも同様に振る舞ったが、微生物の腫瘍形成基準を適用した場合、はるかに寛容であった。
幻覚は稀であった。
フルテキスト内の矛盾点の方法論的評価と同定は、最も永続的なLSM脆弱性であった。
GPT-5とGPT-5 Nanoは、構造化ドメイン研究論文評価タスクの専門家と区別がつかなかった。
これは、自動的な体系的エビデンス合成のためのLLMの使用をサポートする。
しかし、フルテキストにおける方法論的評価課題と矛盾した識別は、強化を必要とする弱点のままである。
関連論文リスト
- Multi-Task LLM with LoRA Fine-Tuning for Automated Cancer Staging and Biomarker Extraction [6.53191669778827]
本研究では,腫瘍リンパ節転移(TNM)のステージング,組織学的グレード,バイオマーカーの抽出を自動化するためのパラメータ効率,マルチタスクフレームワークを提案する。
Llama-3-8B-Instruct encoderをLoRA(Lo-Rank Adaptation)を用いて10,677のレポートをキュレートして検証した。
論文 参考訳（メタデータ） (2026-04-14T22:26:30Z) - Eligibility-Aware Evidence Synthesis: An Agentic Framework for Clinical Trial Meta-Analysis [49.83108591873481]
EligMetaはエージェントフレームワークで、自動トライアル発見と、資格を意識したメタ分析を統合する。
フレームワークは、目標トライアル間の人口アライメントを反映した類似性に基づく研究重量を計算し、適性基準を構造化する。
論文 参考訳（メタデータ） (2026-04-03T03:18:50Z) - Saying More Than They Know: A Framework for Quantifying Epistemic-Rhetorical Miscalibration in Large Language Models [0.30458514384586394]
大規模言語モデル (LLMs) は、階層的基盤に比例しない修辞的強度で体系的な誤校正を示す。
本研究は,3adic epistemic-rhetorical marker (ERM) の分類を設計することにより,このデカップリングを定量化する枠組みを提案する。
約0.6万のトークンにまたがる225の議論的テキストに適用され、人間の専門家、人間の非専門家、LLM生成サブコーパスに適用される。
論文 参考訳（メタデータ） (2026-03-27T05:33:10Z) - IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。
大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。
本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
論文 参考訳（メタデータ） (2026-02-08T12:28:29Z) - How well can off-the-shelf LLMs elucidate molecular structures from mass spectra using chain-of-thought reasoning? [51.286853421822705]
大規模言語モデル (LLM) は推論集約的な科学的タスクを約束するが、化学的解釈の能力はまだ不明である。
我々は、分子構造を予測するために、LLMが質量スペクトルデータに対してどのように理由を持つかを評価する、Chain-of-Thought(CoT)プロンプトフレームワークとベンチマークを導入する。
SMILESの妥当性, 式整合性, 構造的類似性の指標による評価の結果, LLMは合成学的に有効で, 部分的に可視な構造を生成できるが, 分子予測の正確性やリンク推論を達成できないことがわかった。
論文 参考訳（メタデータ） (2026-01-09T20:08:42Z) - Can AI Validate Science? Benchmarking LLMs for Accurate Scientific Claim $\rightarrow$ Evidence Reasoning [6.043212666944194]
CLAIM-BENCHは,科学的クレームエビデンス抽出と検証において,大規模言語モデルの能力を評価するためのベンチマークである。
GPT-4やClaudeのようなクローズドソースモデルは、精度とリコールにおいて、オープンソースモデルよりも一貫して優れています。
戦略的に設計された3つのパスと1対1のプロンプトアプローチは、分散した証拠とクレームを正確にリンクするLSMの能力を大幅に向上させた。
論文 参考訳（メタデータ） (2025-06-09T21:04:39Z) - ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。
我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。
学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
論文 参考訳（メタデータ） (2025-03-27T08:09:15Z) - MicroVQA: A Multimodal Reasoning Benchmark for Microscopy-Based Scientific Research [57.61445960384384]
MicroVQA は、生物学の専門家が様々な顕微鏡のモードでキュレートした 1,042 の多重選択質問 (MCQ) から構成される。
最先端のMLLMのベンチマークでは、ピーク性能は53%であった。
チェーン・オブ・シント・レスポンスのエキスパート分析では、知覚エラーが最も頻繁であり、続いて知識エラー、そして過一般化エラーが続く。
論文 参考訳（メタデータ） (2025-03-17T17:33:10Z) - SYNFAC-EDIT: Synthetic Imitation Edit Feedback for Factual Alignment in Clinical Summarization [6.130435789368263]
大規模言語モデル(LLM)は、要約タスクにおいて重要な成果を示したが、事実的不正確さに苦慮している。
専門家がアノテートしたデータの高コスト化と可用性の限界に対処するため,本研究では革新的なパイプラインを導入する。
100B以上のGPTの変種を利用して、専門家レベルの編集フィードバックを提供する合成フィードバックエキスパートとして機能します。
論文 参考訳（メタデータ） (2024-02-21T16:33:22Z) - Large Language Models in Medical Term Classification and Unexpected
Misalignment Between Response and Reasoning [28.355000184014084]
本研究は, 軽度認知障害 (MCI) 患者を退院サマリーから識別する, 最先端の大規模言語モデル (LLMs) の有効性を評価するものである。
データは、モデルの微調整と評価のために、トレーニング、検証、テストセットに7:2:1の比率で分割された。
FalconやLLaMA 2のようなオープンソースのモデルは高い精度を達成したが、説明的推論に欠けていた。
論文 参考訳（メタデータ） (2023-12-19T17:36:48Z) - Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。
我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。
本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
論文 参考訳（メタデータ） (2023-03-24T05:05:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。