論文の概要: Treating the Symptom, Missing the Cause: Anatomy of a Scientific Reasoning Failure

• arxiv url: http://arxiv.org/abs/2611.04473v1
• Date: Tue, 03 Nov 2026 08:02:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:51:12.146989
• Title: Treating the Symptom, Missing the Cause: Anatomy of a Scientific Reasoning Failure
• Title（参考訳）: 症状を治療し、原因を見逃す:科学的推論失敗の解剖学
• Abstract要約: 制御された合成制御系における故障モードについて検討する。 エージェントは実験的に隠れた断層を特定し、その結果の表現型を救わなければならない。 すべてのモデルは、欠陥を特定するよりも、健康な表現型を回復する。
• 参考スコア（独自算出の注目度）: 0.30998852056211806
• License:
• Abstract: Scientific agents can find interventions that work without understanding why they do. We study this failure mode in controlled synthetic regulatory systems, where agents must experimentally identify a hidden fault and rescue the resulting phenotype. Across seven LLMs, every model restores the healthy phenotypes more often than it identifies the fault. Claude Opus 4.6 and Sonnet 4.6 rescue every organism while diagnosing only 55% and 35% of them. This failure is not simply due to insufficient exploration or unavailable evidence. In most cases, the cause is experimentally identifiable, and agents encounter evidence that distinguishes competing causes in 91% of relevant sessions, and still frequently misdiagnose the system. Targeted probes reveal where experimental reasoning breaks down. Models reliably interpret decisive evidence and revise hypotheses when the causal comparison is explicit, and can locate that evidence within a full experimental record. However, they struggle to predict the outcome of the experiment under each competing cause, a necessary step in using the observed result to distinguish between them. Agents can therefore gather the right evidence and still infer the wrong cause. As AI systems take on a growing role in synthesising scientific evidence, these findings highlight the need to evaluate how they use evidence to reach causal conclusions, alongside whether their interventions succeed.
• Abstract（参考訳）: 科学的エージェントは、それらがなぜ機能するのかを理解することなく、機能する介入を見つけることができる。 エージェントは隠れた断層を実験的に識別し、結果として生じる表現型を救わなければならない。 7つのLSMにわたって、どのモデルも、その欠陥を識別するよりも、より頻繁に健康な表現型を復元する。 クロード・オプス4.6とソネット4.6は、全ての生物を55%と35%しか診断していない。 この失敗は単に不十分な探査や証拠不足によるものではない。 多くの場合、原因は実験的に同定可能であり、エージェントは関連するセッションの91%で競合原因を識別する証拠に遭遇する。 ターゲットのプローブは、実験的な推論が故障する場所を明らかにします。 モデルは決定的な証拠を確実に解釈し、因果比較が明確であるときに仮説を修正し、その証拠を完全な実験記録の中に見つけることができる。 しかし、彼らはそれぞれの競合する原因の下で実験の結果を予測するのに苦労し、観察された結果を使って両者を区別するために必要なステップである。 したがって、エージェントは正しい証拠を集め、いまだに間違った原因を推測することができる。 AIシステムが科学的な証拠を合成する役割を担っているため、これらの発見は、彼らの介入が成功するかどうかとともに、因果的な結論に達するための証拠の使用方法を評価する必要性を強調している。

関連論文リスト

• LUCA: A Synthetic World for Experimental Reasoning [0.30998852056211806]
  LUCAは実験薬の評価のための合成世界である。 エージェントは予算実験を通じて未知の規制システムを学ぶ。 その後、見えない介入を予測し、隠れた断層を診断し、救助を試みる。
  論文  参考訳（メタデータ） (2026-11-02T13:17:36Z)
• ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence [40.670500527968926]
  本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。 主要なリーダーボードACED-COREには180のタスクが含まれている。 我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。
  論文  参考訳（メタデータ） (2026-10-09T23:01:57Z)
• Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
  既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。 我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。 その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
  論文  参考訳（メタデータ） (2026-09-10T08:41:07Z)
• EvoSCM: Scientific Belief Revision Through Causal Model Evolution and Experimentation [68.80901568810616]
  EvoSCMは、新しい証拠が収集されるにつれて進化する明確な構造因果モデルを持つ科学エージェントを装備することを目的としている。 EvoSCM onPhysicsはエージェントが実験を通して非標準物理世界の隠れたダイナミクスを明らかにするのに必要なベンチマークである。
  論文  参考訳（メタデータ） (2026-09-01T16:55:56Z)
• EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards [73.12811119273206]
  我々は,包括的調査を通じて科学的エージェントを評価するベンチマークであるEarthVerseを紹介する。 エージェントは異種イベントパッケージを検査し、互換性のあるエビデンスを選択し、透過的な計算を実行し、ソース差を調整し、最終回答で証明を保存する。 システム全体では、平均回答ユニットの精度は84.65%であり、最も高いStrict@95は34.81%である。
  論文  参考訳（メタデータ） (2026-08-24T17:29:16Z)
• CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists [28.253879252786632]
  LLMエージェントによる対話的因果発見を評価するスケーラブルな環境であるCausaLabを紹介する。 以前の評価とは異なり、CausaLabは、エージェントが因果的証拠を用いて問題を解くことができるかどうか、そしてその答えが忠実に回復された因果的メカニズムに根ざされているかどうかを評価している。
  論文  参考訳（メタデータ） (2026-05-25T16:57:06Z)
• AI scientists produce results without reasoning scientifically [3.100302590436282]
  大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。 そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
  論文  参考訳（メタデータ） (2026-04-20T20:23:42Z)
• Context-Aware Reasoning On Parametric Knowledge for Inferring Causal Variables [49.31233968546582]
  本稿では,部分因果グラフの完成を目的とした新しいベンチマークを提案する。 原因と効果の間のバックドア変数を仮説化するLLMの強い能力を示す。 固定された関連性の単純な記憶とは異なり、我々のタスクはグラフ全体のコンテキストに応じてLCMを推論する必要がある。
  論文  参考訳（メタデータ） (2024-09-04T10:37:44Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。