論文の概要: MechBench: Can AI Scientific Agents Discover Mechanisms Beyond Phenomenal Laws?

• arxiv url: http://arxiv.org/abs/2609.35515v1
• Date: Mon, 28 Sep 2026 16:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:14:04.015518
• Title: MechBench: Can AI Scientific Agents Discover Mechanisms Beyond Phenomenal Laws?
• Title（参考訳）: MechBench:AIの科学的エージェントは現象の法則を超えたメカニズムを発見できるのか?
• Abstract要約: 既存のシンボリックレグレッションと科学的エージェントのベンチマークは、主に現象の欠陥回復を評価する。 私たちはこれらの2つの機能を明示的に分離するベンチマークであるMechBenchを紹介します。 代表的な科学的エージェントによる実験は、重要な現象、-機械的回復のギャップを明らかにしている。
• 参考スコア（独自算出の注目度）: 19.719988911949258
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scientific discovery requires not only recovering mathematical laws that describe observable behavior, but also identifying the mechanisms that generate them. Existing benchmarks for symbolic regression and scientific agents primarily evaluate phenomenal-law recovery, leaving mechanism discovery largely untested. We introduce MechBench, a benchmark that explicitly separates these two capabilities. Each task is defined by a mechanistic model, a structured set of scientifically meaningful relations whose joint consequences entail an observable phenomenal law, while agents receive only observational data and scientific context. We evaluate mechanism recovery through mechanism probes, which query internal scientific consequences that cannot be inferred from the phenomenal law alone. To reduce reliance on memorized textbook mechanisms, we construct unfamiliar variants through controlled, scientifically interpretable mutations of canonical mechanisms, and screen for mechanistic indistinguishability to exclude ambiguous instances admitting comparable competing mechanisms. Experiments across representative scientific agents reveal a substantial phenomenal--mechanism recovery gap: for Codex with GPT-5.6-sol, phenomenal-law accuracy reaches 35.00% on the Core-set while mechanism accuracy is only 13.75%, with mechanism recovery failing in 64.29% of cases where the phenomenal law is correctly recovered. The gap widens as mechanisms become increasingly mutated, and even providing the correct phenomenal law leaves mechanism recovery below 50%. These results reveal a substantial generalization gap in mechanistic reasoning and establish mechanism discovery as a distinct challenge beyond recovering observable scientific laws.
• Abstract（参考訳）: 科学的発見は、観測可能な振る舞いを記述する数学的法則の回復だけでなく、それらを生成するメカニズムの特定も必要である。 既存のシンボリックレグレッションと科学的エージェントのベンチマークは、主に現象の欠陥回復を評価しており、メカニズムの発見はほとんど証明されていない。 私たちはこれらの2つの機能を明示的に分離するベンチマークであるMechBenchを紹介します。 それぞれのタスクは、観測可能な現象法則を伴い、エージェントは観測データと科学的文脈のみを受け取るという、科学的に有意義な関係の構造化されたモデルによって定義される。 現象法則のみから推測できない内部科学的結果を求める機構プローブを用いて機構回復を評価する。 記憶された教科書のメカニズムへの依存を軽減するため、制御された科学的に解釈可能な正準機構の変異と、同等の競合するメカニズムを許容するあいまいなインスタンスを除外する機械的不明瞭さのスクリーニングにより、未知の変種を構築する。 GPT-5.6-solのコーデックスでは、メカニズムの精度はわずか13.75%であり、現象の法則が正しく回復された場合の64.29%でメカニズムの回復が失敗する。 メカニズムの変異が増すにつれて、ギャップは拡大し、適切な現象の法則を提供することさえも、メカニズムの回復を50%以下に抑える。 これらの結果は、機械的推論におけるかなりの一般化のギャップを明らかにし、観測可能な科学的法則を回復する上では、明確な課題としてメカニズム発見を確立する。

関連論文リスト

• Learning Transferable Reaction Mechanisms from Visual Chemical Knowledge [10.771801947653286]
  本稿では,移動可能な化学表現と外部機械的知識を組み合わせた視覚的枠組みであるMechaVLMを紹介する。 マルチスケールな化学接地とクロスレンダリングなコントラスト学習を通じて、再利用可能な視覚特徴を学習する。 MechaVLMは、クロスデータセットと文献由来のベンチマーク全体にわたって、強力なゼロショット機構の予測を確立している。
  論文  参考訳（メタデータ） (2026-09-27T14:21:10Z)
• EvoSCM: Scientific Belief Revision Through Causal Model Evolution and Experimentation [68.80901568810616]
  EvoSCMは、新しい証拠が収集されるにつれて進化する明確な構造因果モデルを持つ科学エージェントを装備することを目的としている。 EvoSCM onPhysicsはエージェントが実験を通して非標準物理世界の隠れたダイナミクスを明らかにするのに必要なベンチマークである。
  論文  参考訳（メタデータ） (2026-09-01T16:55:56Z)
• Mechanist: AI as a Scientific Instrument for Discovering the Mechanisms of Intelligence [114.82582862454052]
  メカニスト(Mechanist)は、AIを科学機器として利用し、AIインテリジェンスの基礎となるメカニズムを自律的に発見するエージェントシステムである。 Claude Codeや既存のAI科学者システムと比較すると、Mechanistはより価値のあるメカニズムを生み出し、実験をより確実に実行する。
  論文  参考訳（メタデータ） (2026-08-12T13:19:42Z)
• Externalizing Research Synthesis and Validation in AI Scientists through a Research Harness [22.631467433443362]
  Xcientistは、研究合成と実験的検証を検査可能な契約統治プロセスに外部化する研究ハーネスである。 Xcientistの文献は、証拠、アイデアステート、実装計画、アブレーション記録、修復痕跡を永続的な研究成果として整理している。
  論文  参考訳（メタデータ） (2026-06-17T09:52:14Z)
• Competition of Mechanisms: Tracing How Language Models Handle Facts and Counterfactuals [82.68757839524677]
  解釈可能性研究は、経験的成功と大規模言語モデル(LLM)の科学的理解のギャップを埋めることを目的としている。 本稿では,個々のメカニズムではなく,複数のメカニズムの相互作用に着目した,メカニズムの競合の定式化を提案する。 本研究は, 種々のモデル成分間の機構とその競合の痕跡を示し, 特定の機構の強度を効果的に制御する注意位置を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T17:26:51Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。