論文の概要: Identity or Evidence? Auditing Evidence Dependence in Agentic Life-Science Benchmarks

• arxiv url: http://arxiv.org/abs/2610.36510v1
• Date: Tue, 27 Oct 2026 02:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.464622
• Title: Identity or Evidence? Auditing Evidence Dependence in Agentic Life-Science Benchmarks
• Title（参考訳）: アイデンティティとエビデンス : エージェント・ライフ・サイエンス・ベンチマークにおけるエビデンス依存性の検証
• Abstract要約: エージェントのライフサイエンスベンチマークは、名前の付いたエンティティに関するエージェントのエビデンスを与え、記録された結果に対して回答を得る。 臨床アウトカム・ベンチマークでは,個人性やエビデンスを別々に評価し,Biomni と LAB-Bench のタスクを公表した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic life-science benchmarks give an agent evidence about a named entity and score an answer against a recorded outcome. That score tests reasoning over evidence only if the evidence, rather than the name, determines the answer. We examine this distinction by varying identity and evidence independently on a clinical-outcome benchmark and published tasks from Biomni and LAB-Bench. Blinding identity matters little when a prompt contains a decisive sequence or passage. It matters a great deal when the prompt is mostly a name and candidate list (0.742 named versus 0.082 blinded; chance 0.093). Across 96 LAB-Bench LitQA2 questions, the gap increases under one fixed passage-redaction scheme (+0.000 to +0.135; per-instance slope +0.147, p= 0.004). On the clinical benchmark, a no-evidence recall probe matches prediction accuracy and recovers a database-specific programme count. So, we argue that benchmarks intended to measure evidence-dependent reasoning should report identity-blinded results, retrieval telemetry, and positive controls.
• Abstract（参考訳）: エージェントのライフサイエンスベンチマークは、名前の付いたエンティティに関するエージェントのエビデンスを与え、記録された結果に対して回答を得る。 そのスコアは、名前ではなく証拠が答えを決定する場合に限り、証拠を推論するテストである。 臨床アウトカム・ベンチマークでは,個人性やエビデンスを別々に評価し,Biomni と LAB-Bench のタスクを公表した。 ブラディングアイデンティティは、プロンプトが決定的なシーケンスやパスを含む場合、ほとんど重要ではない。 プロンプトが大半が名前と候補リストである場合(0.742 は失明 0.082 に対して失明 0.093 の場合)、大きな意味を持つ。 96 LAB-Bench LitQA2の質問では、ギャップは1つの固定された通過反応スキーム(+0.000から+0.135; インスタンスあたりの勾配+0.147, p=0.004)で増加する。 臨床ベンチマークでは、ノエビデンスリコールプローブが予測精度と一致し、データベース固有のプログラムカウントを復元する。 そこで,エビデンスに依存した推論を計測するためのベンチマークでは,個人認証結果,検索テレメトリ,肯定的な制御を報告すべきである,と論じる。

関連論文リスト

• EviDial: When Correct Depression Predictions Lack Evidence [17.709908119464245]
  ラベル契約とエビデンスに基づく評価を区別するベンチマークであるEviDialを紹介する。 EviDialは3つのソースからの382のうつ病対話と2,744の参加者症状細胞から構成される。
  論文  参考訳（メタデータ） (2026-10-20T02:56:09Z)
• ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence [40.670500527968926]
  本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。 主要なリーダーボードACED-COREには180のタスクが含まれている。 我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。
  論文  参考訳（メタデータ） (2026-10-09T23:01:57Z)
• Are We Measuring Scientific Intelligence? Rethinking the Evaluation of AI Scientists [0.9514940899499752]
  ベンチマークは 正しい答えは 供給されたデータから 導かれたものだと仮定する この仮定をどうやってテストし、失敗することが多いかを示します。 BAISBenchとGeneBench-Proの4つの合成問題から,3つのエージェント足場と5つのモデルを評価した。
  論文  参考訳（メタデータ） (2026-10-04T03:50:36Z)
• What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs [10.720985236309462]
  FEVEROUSでは、厳格なスコアは、提出された証拠の正しい回答と完全な注釈付き証拠グループによるクレームの割合である。 4つの訓練されたDeBERTaチェックポイントと7,890のクレームで、DCUFの証拠をUnifEEの証拠に置き換え、厳格なスコアを9.61ポイント引き上げた。 この効果は、予め規定されたクロスデータセットの基準に満たないが、いくつかの間隔は2点の小さな効果境界を超えて広がる。
  論文  参考訳（メタデータ） (2026-09-22T21:02:40Z)
• Same Evidence, Different Target: Decoding How Diagnostic Evidence Bears on Causal Questions from Language-Model States [7.032871370232397]
  因果的目標を変更しながら,同一の診断的証拠を口頭で繰り返し示すペアプロンプトを導入する。 それぞれのプロンプトは、証拠が因果問題にどのように耐えられるかに応じて、Favors、Challenges、Unresolved、Wrong Targetと呼ばれる。 我々はQwen2.5-7B-インストラクタの直交変圧器ブロックから最終トーケン隠れ状態を分析する。
  論文  参考訳（メタデータ） (2026-07-29T13:56:37Z)
• SciLens: Multi-modal Scientific Claim Verification with Agentic Entailment and Grounding [63.71245376513854]
  SciLensは、マルチモーダルな科学的クレーム検証のためのエビデンス条件の原子包含フレームワークである。 SciLensは、それぞれの主張を中央の経験的原子と背景の原子に分解し、中央の原子をモダリティ固有の証拠として根拠付け、最終的なラベルを予測する。 表では、原子は行、列、セル、算術関係、テーブルスコープに接地され、図ではパネル、軸、伝説、視覚的エンコーディング、カテゴリー、傾向、ランク、等式チェックによって接地される。
  論文  参考訳（メタデータ） (2026-06-18T19:02:17Z)
• Agentic Cognitive Profiling: Realigning Automated Alzheimer's Disease Detection with Clinical Construct Validity [66.94391219005291]
  本稿では,臨床プロトコルロジックによる自動スクリーニングを実現するエージェント認知プロファイリング(ACP)を提案する。 我々の設計の中心は、すべての定量化を決定論的関数呼び出しに委譲することで、測定から意味的理解を分離することである。 ACPは、タスク試験で90.5%のスコアマッチ率、AD予測で85.3%の精度を達成し、一般的な基準を上回っている。
  論文  参考訳（メタデータ） (2026-03-18T06:15:35Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。