論文の概要: Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents
- arxiv url: http://arxiv.org/abs/2610.29812v1
- Date: Wed, 21 Oct 2026 14:35:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.383515
- Title: Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents
- Title（参考訳）: 本物のPMID:バイオメディカルクレーム検証剤のハーネス設計
- Abstract要約: バイオメディカルクレーム検証において,ライブPubMed APIを唯一のツールとして,制御されたアブレーションを実行する。
クローズドブックの回答、クレームをクエリとして使用するシングルショット検索、独自のクエリを書くReActスタイルのエージェント、PubMedのオラクルの4つのハーネスを比較した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Literature-searching language agents are becoming a standard component of scientific assistants for the life sciences, yet there is little controlled evidence on which parts of their harness matter. We run a controlled ablation on biomedical claim verification (SciFact) with the live PubMed API as the only tool. Holding the backbone and output format fixed, we compare four harnesses: closed-book answering, single-shot retrieval using the claim as the query, a ReAct-style agent that writes its own PubMed queries, and an oracle given the gold abstracts, each with two efficient frontier backbones. Naive single-shot retrieval finds the gold paper for only 6% of claims and turns overconfident errors into abstentions without improving accuracy. Letting the model formulate its own queries triples gold recall and yields the best verdicts (62% accuracy vs. 49-59% for the other realistic harnesses), although these differences are not significant at our sample size and agents use fewer than half of their search budget. With gold abstracts, the same models reach 79-86% accuracy, a significant 17-24 point gap showing that retrieval, not reasoning, is the main bottleneck. Finally, a citation audit shows that closed-book models cite PubMed IDs that almost always exist (327/335) but are almost never relevant: a cross-family LLM judge rates only 3 of 327 existing citations as relevant to the claim, versus 67% for citations produced by the search agent. Existence checks are therefore insufficient safeguards for scientific agents. We release code, prompts, and all cached tool calls at https://github.com/saqlain2204/real-pmids-wrong-papers.
- Abstract（参考訳）: 文学研究用言語エージェントは、生命科学の科学アシスタントの標準コンポーネントになりつつあるが、どのハーネスのどの部分が重要かについての制御された証拠はほとんどない。
バイオメディカルクレーム検証(SciFact)において,ライブPubMed APIを唯一のツールとして,制御されたアブレーションを実行する。
バックボーンと出力形式を固定した上で,クローズドブックの応答,クレームをクエリとして用いたシングルショット検索,独自のPubMedクエリを記述したReActスタイルエージェント,金の抽象化を与えられたオラクル,それぞれ2つの効率的なフロンティアバックボーンの4つのハーネスを比較した。
ナイーブ・シングルショット検索は、クレームのわずか6%のゴールドペーパーを見つけ、正確さを向上することなく、過信の誤りを棄却する。
モデルが独自のクエリを定式化すると、ゴールドリコールが3倍になり、最高の評価(他の現実的なハーネスでは62%の精度対49-59%の精度)が得られます。
金の抽象化では、同じモデルが79～86%の精度に達する。
最後に、引用監査の結果、クローズドブックモデルは、ほぼ常に存在するが、ほとんど関係がないPubMed ID(327/335)を引用している。
したがって、既存のチェックは科学的エージェントにとって不十分な安全策である。
コード、プロンプト、およびすべてのキャッシュされたツールコールはhttps://github.com/saqlain2204/real-pmids-wrong-papersでリリースします。
関連論文リスト
- Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers [1.9140495620245608]
検索なしで正しい回答をしても、古い証拠がモデルに悪影響を及ぼすような、時間的アライメント障害、古文書中毒を同定する。
我々は、医学、法律、ソフトウェア、プラットフォームポリシーにまたがる317の検証済み知識逆転のベンチマークを構築し、公式資料を根拠にしている。
論文 参考訳（メタデータ） (2026-09-25T14:43:43Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳（メタデータ） (2026-08-25T09:34:18Z) - Reconcile Once, Write Anytime: A Trust-Tiered Librarian and a Multi-Agent Writer for Drift-Free, Point-in-Time Research [7.426963307811556]
本稿では,保守型ポイントインタイム知識ライブラリをレポート作成から分離する2層エージェントシステムを提案する。
ポータブルなマルチエージェント"ライター"ランタイムは、任意の知識遮断Tにおいて矛盾のないエビデンス基底レポートを構成する。
我々は,555,926枚のエビデンスカードを出力する6,130個のソースの自己収集・公開コーパスを評価した。
論文 参考訳（メタデータ） (2026-08-13T09:09:28Z) - TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。
筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。
プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
論文 参考訳（メタデータ） (2026-08-11T20:30:32Z) - Plato-Bio: verification-first biological novelty screening with temporal rediscovery and structural benchmarks [0.0]
オープンなPlato/Denarioアーキテクチャの拡張であるPlato-Bioを開発した。
Plato-Bioは明示的なワークフローステートを、プロファイランスレコード、引用チェック、クレーム・ツー・エビデンスリンク、スコープドファイル書き込み、パブリッシュゲートと結合する。
現在のクリーンリビジョンでは、完全なPythonスイートが931パス、6スキップ、エラーやエラーは発生しない。
論文 参考訳（メタデータ） (2026-07-27T03:55:39Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。
既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。
そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
論文 参考訳（メタデータ） (2026-05-13T08:49:51Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers [0.0]
『廃紙』は既知の人工物であるが、有効な引用鎖の系統的な劣化はいまだに不明である。
我々は,2024年9月から2026年1月までに発行された人工知能に関する50の最近の調査論文の法医学的な監査を行った。
我々は、攻撃的な法医学的回復にもかかわらず、いかなるデジタルオブジェクトにも解決できない、永続的な17.0%のファントムレートを検出する。
論文 参考訳（メタデータ） (2026-01-24T12:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。