論文の概要: AI scientists produce results without reasoning scientifically
- arxiv url: http://arxiv.org/abs/2604.18805v1
- Date: Mon, 20 Apr 2026 20:23:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.473266
- Title: AI scientists produce results without reasoning scientifically
- Title（参考訳）: AIの科学者が科学的に推論せずに結果を生み出す
- Abstract要約: 大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。
そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
- 参考スコア（独自算出の注目度）: 3.100302590436282
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM)-based systems are increasingly deployed to conduct scientific research autonomously, yet whether their reasoning adheres to the epistemic norms that make scientific inquiry self-correcting is poorly understood. Here, we evaluate LLM-based scientific agents across eight domains, spanning workflow execution to hypothesis-driven inquiry, through more than 25,000 agent runs and two complementary lenses: (i) a systematic performance analysis that decomposes the contributions of the base model and the agent scaffold, and (ii) a behavioral analysis of the epistemological structure of agent reasoning. We observe that the base model is the primary determinant of both performance and behavior, accounting for 41.4% of explained variance versus 1.5% for the scaffold. Across all configurations, evidence is ignored in 68% of traces, refutation-driven belief revision occurs in 26%, and convergent multi-test evidence is rare. The same reasoning pattern appears whether the agent executes a computational workflow or conducts hypothesis-driven inquiry. They persist even when agents receive near-complete successful reasoning trajectories as context, and the resulting unreliability compounds across repeated trials in epistemically demanding domains. Thus, current LLM-based agents execute scientific workflows but do not exhibit the epistemic patterns that characterize scientific reasoning. Outcome-based evaluation cannot detect these failures, and scaffold engineering alone cannot repair them. Until reasoning itself becomes a training target, the scientific knowledge produced by such agents cannot be justified by the process that generated it.
- Abstract（参考訳）: 大規模言語モデル(LLM)に基づくシステムは、科学的研究を自律的に行うためにますます展開されているが、彼らの推論が科学的調査を自己修正する認識規範に固執するかどうかは理解されていない。
ここでは,8つの領域にわたるLLMに基づく科学エージェントの評価を行い,ワークフローの実行から仮説駆動的な調査,25,000以上のエージェントランと2つの補完レンズによる調査を行った。
一 基本モデル及びエージェントの足場からの貢献を分解する系統的性能分析及び
(II)エージェント推論の認識学的構造に関する行動解析
基礎モデルが性能と行動の双方の主要な決定要因であり,足場が1.5%に対して説明的分散の41.4%を占めることが観察された。
あらゆる構成において、痕跡の68%で証拠は無視され、反感駆動の信念修正は26%で発生し、収束した多検定証拠は稀である。
同じ推論パターンは、エージェントが計算ワークフローを実行するか、仮説駆動の問い合わせを行うかのように見える。
エージェントがほぼ完全に成功した推論軌跡を文脈として受け取り、結果として生じる信頼できない化合物が、エピステマティックに要求される領域で繰り返し試行されるときでさえ持続する。
したがって、現在のLSMベースのエージェントは科学的ワークフローを実行するが、科学的推論を特徴付けるてんかんのパターンは示さない。
アウトカムベースの評価はこれらの障害を検出することができず、足場エンジニアリングだけでは修復できない。
推論自体が訓練対象になるまでは、そのようなエージェントが生み出す科学的知識は、それを生成したプロセスによって正当化できない。
関連論文リスト
- Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。
我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。
その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
論文 参考訳（メタデータ） (2026-09-10T08:41:07Z) - EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。
エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。
システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
論文 参考訳（メタデータ） (2026-08-24T17:29:16Z) - Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。
ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。
共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
論文 参考訳（メタデータ） (2026-08-20T11:13:27Z) - ECLAIR: A Causally-Grounded AI Framework for Scientific Discovery in Empirical Software Engineering [51.19819833971252]
本稿では,科学プロセスのすべての段階に大規模言語モデルを統合する,因果的基盤を持つAIフレームワークであるECLAIRを紹介する。
ECLAIRはLSMを因果推論の原理の下で活動する活発な科学的エージェントとして扱う。
論文 参考訳（メタデータ） (2026-08-03T14:47:03Z) - Agentic Root Cause Analysis through Evidence-Grounded Reasoning [16.37572484400141]
AgentRCAはエビデンス基底根本原因分析のためのゼロショットエージェントフレームワークである。
データ駆動型ディジタルツインとツール拡張された大きな言語モデルを組み合わせることで、推論時推論を実行する。
障害固有のトレーニングに頼ることなく、完全に教師されたベースラインと競合する診断性能を実現する。
論文 参考訳（メタデータ） (2026-07-24T15:10:41Z) - Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents [0.42970700836450476]
大規模言語モデル(LLM)エージェントは、AIによる科学的発見において、ますます中心的な役割を果たすことが期待されている。
本稿では、仮説生成、評価、進化を明示的で監査可能な操作として提供するエージェントハーネスである仮説進化プロトコル(HEP)を提案する。
材料科学研究タスクにおいて、HEPを組み込んだエージェントは、計画的なエージェントが欠如している仮説-テスト-エビデンス-ビリーフサイクルを運用し、研究課題を一般化し、基礎LLMがより有能になるにつれてプロトコルをより完全に活用する。
論文 参考訳（メタデータ） (2026-07-10T08:39:30Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - The Calibration Turn in AI-Assisted Research: A Conceptual and Methodological Framework for Evidence-Licensed Claims [0.9805949492148788]
本稿では,AI支援研究におけるエビデンスライセンスクレームの概念的枠組みを開発する。
仮説生成、モデルによる結果導出、外部検証、信条更新、クレームキャリブレーションの5つの演算子としてAI支援研究を表現している。
論文 参考訳（メタデータ） (2026-06-30T07:46:54Z) - FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games [2.959715295394151]
従来のWason 2-4-6タスクに触発された仮説駆動推論のための評価フレームワークであるFALSIFYBENCHを紹介する。
このタスクは、仮説の生成、証拠収集、そして証拠の確認と不確認の両方に対応する信念の修正という、科学的推論の重要な要素を捉えている。
モデルファミリとスケールをまたいだ12 LLM の評価は、推論モデルが命令調整モデルよりも一般的に強力な科学的推論モデルであることを示しているが、最適性能に近づくモデルはない。
論文 参考訳（メタデータ） (2026-06-03T11:33:17Z) - Separable Pathways for Causal Reasoning: How Architectural Scaffolding Enables Hypothesis-Space Restructuring in LLM Agents [0.0]
我々は,ブレケット検出器のパラダイムを発達科学から,仮説空間再構成をターゲットとしたアーキテクチャ的な足場を備えたAIエージェントのテスト能力まで拡張する。
コンポジションアーキテクチャには、型付き状態マシンとして構造探索を行うコンテキストグラフと、現在の仮説空間が不十分である証拠を監視し、実行時に拡張する動的挙動の2つの独立したコンポーネントがある。
論文 参考訳（メタデータ） (2026-04-21T22:49:17Z) - Procela: Epistemic Governance in Mechanistic Simulations Under Structural Uncertainty [0.0]
Procelaはシミュレーションが自身の仮定をテストする最初のフレームワークである。
競合する3家族の病院ネットワークでProcela for AMRをインスタンス化する。
その結果、基準値よりも20.4%のエラー削減と69%の累積的後悔改善が得られた。
論文 参考訳（メタデータ） (2026-04-01T09:22:32Z) - Deciphering Scientific Reasoning Steps from Outcome Data for Molecule Optimization [22.850204283344524]
結果から科学的推論を解読するフレームワークであるDESROを提案する。
グループ化されたデータ内の共有パターンと重要な違いを分析することで、大きな言語モデル(LLM)が基盤となるロジックを復元することができる。
我々はこの枠組みを分子最適化において、薬物発見の重要な段階としてインスタンス化する。
論文 参考訳（メタデータ） (2026-03-13T06:25:27Z) - Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse [22.927943525772857]
大規模言語モデル(LLM)上に構築された完全自律型AIアナリストは、同様の構造化された分析的多様性を安価かつ大規模に再現可能であることを示す。
アナリストペルソナやLSMの再割り当ては, 方法論的に不十分なランニングを除いた後でも, 結果の分布をシフトさせる。
論文 参考訳（メタデータ） (2026-02-21T04:10:21Z) - Why Do AI Agents Systematically Fail at Cloud Root Cause Analysis? [1.0966260566122241]
大規模なクラウドシステムの障害は、かなりの財政的損失をもたらします。
大規模言語モデル(LLM)エージェントを活用した根本原因分析(RCA)の自動化
本稿では,LCMをベースとしたRCAエージェントのプロセスレベルの故障解析について述べる。
論文 参考訳（メタデータ） (2026-02-10T16:14:05Z) - IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。
大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。
本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
論文 参考訳（メタデータ） (2026-02-08T12:28:29Z) - FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。
深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。
私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
論文 参考訳（メタデータ） (2025-12-18T12:44:36Z) - Cognitive Foundations for Reasoning and Their Manifestation in LLMs [63.12951576410617]
大規模言語モデル(LLM)は複雑な問題を解くが、単純な変種では失敗し、人間の推論と根本的に異なるメカニズムによって正しい出力を達成することを示唆している。
我々は認知科学研究を、推論不変量、メタ認知制御、推論と知識の組織化のための表現、変換操作にまたがる28の認知要素の分類学に合成する。
複雑な問題に対して66.7%の性能向上を図り、成功構造を自動的に把握するテストタイム推論ガイダンスを開発した。
論文 参考訳（メタデータ） (2025-11-20T18:59:00Z) - BioDSA-1K: Benchmarking Data Science Agents for Biomedical Research [29.469867701731374]
BioDSA-1Kは1029の仮説中心のタスクと1,177の分析計画からなる。
このベンチマークは,(1)仮説決定精度,(2)証拠と結論の整合性,(3)推論過程の正しさ,(4)AI生成解析コードの実行可能性の4つの軸に沿った評価を可能にする。
論文 参考訳（メタデータ） (2025-05-22T01:02:21Z) - Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。
原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。
固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
論文 参考訳（メタデータ） (2024-09-04T10:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。