論文の概要: DISCERN: Can AI Agents Work Like Scientists and Guide Discovery?

• arxiv url: http://arxiv.org/abs/2609.33357v1
• Date: Sun, 27 Sep 2026 08:29:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:43:14.156276
• Title: DISCERN: Can AI Agents Work Like Scientists and Guide Discovery?
• Title（参考訳）: DisCERN: AIエージェントは科学者やガイドディスカバリのように機能できるのか?
• Abstract要約: 私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
• 参考スコア（独自算出の注目度）: 54.755189648365565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable automated research requires agents to vet data, verify analyses, and generate hypotheses grounded in trustworthy evidence, potentially reducing routine scientific workload while allowing scientists to focus on interpretation and discovery. Existing benchmarks often only assess analytical task completion or hypothesis generation separately rather than testing whether reliable evidence supports valid and novel claims. We introduce DISCERN (Data Integrity and Scientific Capability: Evidence, Reasoning, and Novelty), a controlled benchmark on real, publicly available datasets that evaluates three key levels of an automated research workflow. The first two levels test data integrity and analysis verification under confounds and tool traps, while the third tests hypothesis generation and revision under adversarial review, including counterfactual cases in which evidence consistent with real data and documented scientific phenomena conflicts with established expectations, motivating alternative explanations and testable hypotheses. Across 203 tasks, eight life-science tracks, and eight models, DISCERN shows that strong aggregate performance can mask level-specific weaknesses. Agents earn perfect scores in only 60.8% of Level 1, 34.2% of Level 2, and 0.6% of Level 3 evaluations, with penalties attributed to rejection of sound data, failure to carry recognized limitations into conclusions, and wide variation in hypothesis production. Cross-track rankings by token and code use are substantially more stable than rankings by evidence judgment, suggesting greater consistency in computational effort than in evidence-based reasoning. These profiles identify opportunities for supervised scientific assistance, but current agents do not yet demonstrate reliable autonomous analysis or discovery. Code and data: https://huggingface.co/datasets/discern-bench-anon/discern-benchmark
• Abstract（参考訳）: 信頼性の高い自動研究では、エージェントがデータを精査し、分析を検証し、信頼できる証拠に基づく仮説を生成する必要がある。 既存のベンチマークは、信頼できる証拠が妥当性と新規の主張を支持するかどうかをテストするよりも、分析的なタスク完了または仮説生成を別々に評価するのみであることが多い。 DISCERN(Data Integrity and Scientific Capability: Evidence, Reasoning, and Novelty)は、自動化された研究ワークフローの3つの重要なレベルを評価する、実際に利用可能なデータセットの制御されたベンチマークである。 最初の2つのレベルは、コンファウンドとツールトラップの下でデータ整合性と分析の検証をテストし、第3のレベルは、実際のデータと矛盾する証拠と文書化された科学的現象が確立された期待と矛盾し、代替的な説明と検証可能な仮説を動機付ける反実的なケースを含む、敵のレビューによる仮説の生成と修正を検証した。 203タスク、8つのライフサイエンストラック、8つのモデルにおいて、強力な集約パフォーマンスはレベル固有の弱点を隠蔽できることを示している。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%しか完璧なスコアを得ていない。 トークンとコードの使用によるクロストラックランキングは、エビデンス判定によるランキングよりもかなり安定しており、エビデンスに基づく推論よりも計算努力の一貫性が高いことを示唆している。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。 コードとデータ:https://huggingface.co/datasets/discern-bench-anon/discern-benchmark

関連論文リスト

• Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
  既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。 我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。 その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
  論文  参考訳（メタデータ） (2026-09-10T08:41:07Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents [11.367029696505357]
  本稿では,発見のためのベンチマークであるTruthInsightBenchを紹介する。 10の科学領域にわたる40の査読された研究から引き出された40の盲目タスクは、中立的な科学的目的と凍結したデータのみを露呈する。 固定LDMベースの審査員は、6次元に沿ってエージェント自身のクレームの明らかな成熟度を評価する。
  論文  参考訳（メタデータ） (2026-09-04T12:37:20Z)
• Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents [16.43230671992556]
  AutoSciRubは評価ファーストのフレームワークで、研究実行前にタスク固有の実行ファイルを誘導する。 AutoSciRubは、未特定の命令を原子科学的目標に分解し、関連する文献やタスク可視データに基礎を置いて、特定の、実行可能な、検証可能な基準を合成する。 改訂期間中、ルーブリック誘導検証は未測定の基準を特定し、研究報告の目的の精査を可能にする。
  論文  参考訳（メタデータ） (2026-08-31T16:48:51Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis [19.4536238905905]
  InfiniteScienceGymは、検証可能な質問応答タスクと組み合わせた、手続き的に生成された科学リポジトリのベンチマークである。 シードから、シミュレータは、現実的なディレクトリ構造、ファイル、表データを備えた自己完結型リポジトリを確定的に生成し、特権QA生成器は、正確な根拠真理で、回答可能な質問と解決できない質問の両方を生成する。 全体的な精度は45%を超えず、解決不可能な質問を認識することは依然として大きな弱点であり、強力なモデルでは単にトークンを消費するのではなく、ツールを効果的に使用する傾向にあります。
  論文  参考訳（メタデータ） (2026-04-14T18:23:02Z)
• From Comprehension to Reasoning: A Hierarchical Benchmark for Automated Financial Research Reporting [19.0993436440595]
  FinReasoningは、中国のリサーチレポート生成を3段階に分解するベンチマークだ。 評価結果に基づいて、FinReasoningはほとんどのモデルが理解と実行のギャップを示すことを示した。
  論文  参考訳（メタデータ） (2026-02-25T13:44:58Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)
• Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data [75.20035991513564]
  本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。 私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。 これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
  論文  参考訳（メタデータ） (2023-10-25T10:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。