論文の概要: Are We Measuring Scientific Intelligence? Rethinking the Evaluation of AI Scientists

• arxiv url: http://arxiv.org/abs/2610.04915v1
• Date: Sun, 04 Oct 2026 03:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 08:01:40.971018
• Title: Are We Measuring Scientific Intelligence? Rethinking the Evaluation of AI Scientists
• Title（参考訳）: 科学的知能の測定は可能か?AI科学者の評価を再考
• Abstract要約: ベンチマークは 正しい答えは 供給されたデータから 導かれたものだと仮定する この仮定をどうやってテストし、失敗することが多いかを示します。 BAISBenchとGeneBench-Proの4つの合成問題から,3つのエージェント足場と5つのモデルを評価した。
• 参考スコア（独自算出の注目度）: 0.9514940899499752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents can now carry out data-driven scientific analyses end to end, and benchmarks assess them by giving an agent a question and a dataset and scoring its final answer against a fixed key. These benchmarks assume that a correct answer was derived from the supplied data, a property we call evidence grounding. However, an agent can also reach the key from prior knowledge or by ruling out the other options, and a score based on a single run cannot tell these cases apart. We show how to test this assumption and find that it often fails. For each question, we build versions of its data files in which the evidence for the answer is left intact, withdrawn or reversed, check each edit with a pre-registered reference statistic, and run the same agent on every version. We then measure evidence-grounded accuracy, which credits a correct answer only if the agent also responds when the evidence is withdrawn and follows it when it is reversed. We evaluate three agent scaffolds and five models on 18 single-cell questions from BAISBench and four synthetic problems from GeneBench-Pro. On the single-cell questions, the Claude agents are 95% accurate and answer 83% correctly without any data, but their evidence-grounded accuracy is only 41%. Hiding gene names raises the share of runs that follow reversed evidence from 58% to 93% on ten gene tasks, suggesting that prior knowledge competes with the supplied data. The benchmark score and LLM judges can also reward answers that ignore the changed evidence. Measuring scientific intelligence rather than recall therefore requires checking whether answers follow the evidence and whether scores reward them for it.
• Abstract（参考訳）: AIエージェントは、データ駆動の科学分析をエンドツーエンドで実行でき、ベンチマークはエージェントに質問とデータセットを与え、最終的な回答を固定キーに対してスコアする。 これらのベンチマークは、正しい答えは供給されたデータに由来すると仮定する。 しかし、エージェントは、事前の知識からキーに到達したり、他のオプションを除外することでキーに到達することができ、単一の実行に基づくスコアは、これらのケースを区別することはできない。 この仮定をどうやってテストし、失敗することが多いかを示します。 各質問に対して、その回答の証拠がそのまま残され、取り除かれたり、逆になったりするデータファイルのバージョンを作成し、事前に登録された参照統計データで各編集を確認し、各バージョンで同じエージェントを実行します。 そして、証拠が取り除かれたときにエージェントが応答し、それが逆になったときにそれに従う場合にのみ、正しい答えを信用する。 BAISBenchとGeneBench-Proの4つの合成問題から,3つのエージェント足場と5つのモデルを評価した。 シングルセルの質問では、クロードのエージェントは95%の正確さと83%の正確さをデータなしで答えるが、その証拠に基づく精度はわずか41%である。 遺伝子名の保持は、10つの遺伝子タスクにおいて58%から93%の逆のエビデンスに続くランのシェアを上昇させ、事前の知識が供給されたデータと競合することを示唆している。 ベンチマークスコアとLCMの審査員は、変更した証拠を無視した回答を報酬することもできる。 したがって、リコールよりも科学的インテリジェンスを測定するためには、答えが証拠に従うかどうか、スコアが彼らに報いるかどうかを確認する必要がある。

関連論文リスト

• When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents [0.4665390376528909]
  ToxicBenchを導入し、数値、ラベル、スキーマ、検索エラーのチェックと適用を計測する。 3つのアダプタの118タスクのGPT評価では、中毒はタスク成功率を26～39ポイント低下させる。 スコアラーを凍結した後、200の軌道上の人間のアノテーションと比較し、96%のタスク・サクセス・アグリーメントが得られた。
  論文  参考訳（メタデータ） (2026-09-29T09:45:17Z)
• DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
  私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
  論文  参考訳（メタデータ） (2026-09-27T08:29:32Z)
• Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
  既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。 我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。 その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
  論文  参考訳（メタデータ） (2026-09-10T08:41:07Z)
• TruthInsightBench: An Evidence-Grounded Benchmark for Automated Evaluation of Open-Ended Scientific Discovery Agents [11.367029696505357]
  本稿では,発見のためのベンチマークであるTruthInsightBenchを紹介する。 10の科学領域にわたる40の査読された研究から引き出された40の盲目タスクは、中立的な科学的目的と凍結したデータのみを露呈する。 固定LDMベースの審査員は、6次元に沿ってエージェント自身のクレームの明らかな成熟度を評価する。
  論文  参考訳（メタデータ） (2026-09-04T12:37:20Z)
• EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
  我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。 エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。 システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
  論文  参考訳（メタデータ） (2026-08-24T17:29:16Z)
• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts [0.0]
  コーディングエージェントは信頼できるツールを証明しているが、オープンエンドのクレーム作成のための信頼性の低い科学的共著者である。 一段階の体制シフトチェックは、エージェントのクレームのみを必要とし、過度に一般化されたケースにフラグを付ける。 コンパニオン再計算は、正しいオブザーバブルがわかっている場合の残りのケースをフラグする。
  論文  参考訳（メタデータ） (2026-06-22T11:14:07Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。