論文の概要: Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy
- arxiv url: http://arxiv.org/abs/2609.35900v1
- Date: Mon, 28 Sep 2026 01:44:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:46.884119
- Title: Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy
- Title（参考訳）: 科学知識の再構築:天文学のエンド・ツー・エンド再生によるLLMエージェントの評価
- Abstract要約: 論文は、多くの方法論的依存関係の選択、キャリブレーションの修正、事前、ドメインの仮定をシンプルに残しながら、明示的な手続きを規定している。
本稿では,エージェントをエンド・ツー・エンドの再現を通じて評価し,検証と計算失敗を方法論的曖昧さから分離するフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 7.043677346986192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The integration of large language models (LLMs) into scientific workflows is accelerating, yet their ability to reconstruct the reasoning underlying published research remains unexplored. Papers specify explicit procedures while leaving many methodological dependencies-data selection, calibration corrections, priors, and domain assumptions-implicit. This ambiguity complicates the evaluation of LLM-based agents, since a failure to reproduce a result may reflect either limitations of the agent or underspecification in the source. We present a framework that evaluates agents through end-to-end reproduction, separating execution from verification and computational failure from methodological ambiguity. We apply it to fourteen astronomy studies: a case study from The Astrophysical Journal and thirteen papers published in Nature. Eleven of the thirteen contained an ambiguity preventing a uniquely specified reproduction path. In a controlled case study, twelve predefined paths, a 3x2x2 sensitivity analysis over sample definition, sky masking, and parallax zero-point treatment-gave estimates from 2.16 to 3.53 kpc for the same quantity, with only one recovering the published value (about 2.70 kpc). The published value was never used as an optimization target, selection criterion, or stopping condition; the matching path was found only after all twelve had run. Crucially, the decisive information (a +0.02 mas parallax zero-point correction) was already in the paper, but the agents did not recognize its causal relevance until the analysis made the effect visible. Matching a published outcome therefore does not validate reconstruction of the underlying reasoning, and the bottleneck is as often a failure to connect relevant information as to retrieve it. End-to-end reproduction thus serves both as a test of reproducibility and as a framework for evaluating implicit scientific knowledge in AI systems.
- Abstract（参考訳）: 科学ワークフローへの大型言語モデル(LLM)の統合は加速している。
論文は、多くの方法論的依存関係の選択、キャリブレーションの修正、事前、ドメインの仮定をシンプルに残しながら、明示的な手続きを規定している。
この曖昧さは、結果の再現に失敗すると、エージェントの限界またはソース内の不特定性のどちらかを反映する可能性があるため、LSMベースのエージェントの評価を複雑にする。
本稿では,エージェントをエンド・ツー・エンドの再現を通じて評価し,実行を検証から分離し,計算失敗を方法論的曖昧さから分離するフレームワークを提案する。
天体物理学ジャーナル(The Astrophysical Journal)による14の天文学研究と、Natureに掲載された13の論文に応用する。
13個のうち11個には、独自に指定された再生経路を阻止する曖昧さが含まれていた。
制御されたケーススタディでは、12の事前定義された経路、サンプル定義に関する3x2x2感度分析、スカイマスク、およびパララックスゼロポイント処理曲線を同じ量で2.16kpcから3.53kpcと推定し、公表された値(約2.70kpc)を1つだけ回収した。
公開された値は最適化目標、選択基準、停止条件として使用されず、マッチングパスは12回すべて実行された後にのみ検出された。
決定的な情報(a +0.02 mas parallax 0-point correct)はすでに論文に含まれていたが、分析結果が明らかになるまで、エージェントは因果関係を認識できなかった。
したがって、公表された結果と一致しても、基礎となる推論の再構築は検証されず、ボトルネックはしばしば、関連する情報を取り出すのに失敗する。
したがって、エンドツーエンドの再現は再現性テストとAIシステムにおける暗黙の科学的知識を評価するためのフレームワークの両方として機能する。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - Do Large Language Models Know What They Don't Know II? A Fully Behavioral, Non-Cognitive Measure of Epistemic Honesty [8.148357447770893]
大規模言語モデル(LLM)は、しばしば自信を持ち、雄弁で、よく理解されている。
彼らは知らないことを知っていますか。
我々は,LLMがその知識の境界を適切に認識するかどうかを評価するための新しい指標を開発した。
論文 参考訳（メタデータ） (2026-09-07T18:40:08Z) - Plato-Bio: verification-first biological novelty screening with temporal rediscovery and structural benchmarks [0.0]
オープンなPlato/Denarioアーキテクチャの拡張であるPlato-Bioを開発した。
Plato-Bioは明示的なワークフローステートを、プロファイランスレコード、引用チェック、クレーム・ツー・エビデンスリンク、スコープドファイル書き込み、パブリッシュゲートと結合する。
現在のクリーンリビジョンでは、完全なPythonスイートが931パス、6スキップ、エラーやエラーは発生しない。
論文 参考訳（メタデータ） (2026-07-27T03:55:39Z) - Grounded autonomous research: a fault-tolerant LLM pipeline from corpus to manuscript in frontier computational physics [3.7193230342956056]
本稿では,11,083個の凝縮物質物理学論文から出版段階の原稿まで,エンドツーエンドで動くパイプラインについて述べる。
フォールトトレランスは、新しいコンテキストアイソレーション、分散グラウンド、敵対的なレビューなど、冗長性から生まれる。
プリミティブ、特徴的障害モード、および定量化された介入パターンは、高度な科学領域における自律的な研究の基礎を築いた。
論文 参考訳（メタデータ） (2026-07-02T15:35:41Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - A measurement substrate for agentic Kubernetes operations: Methodology and a case study in retrieval-compounding falsification [0.0]
自律的な操作エージェントに関する実証的な主張は、ほとんど不可能である。
コードエージェントは「機能する」検証基板を持ち、高速でファルサブルで地味な信号に変換する。
ターゲットクラスタに障害を注入するクローズドループ計測フレームワークである Agent-breakage を提案する。
論文 参考訳（メタデータ） (2026-05-21T21:47:52Z) - AI scientists produce results without reasoning scientifically [3.100302590436282]
大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。
そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
論文 参考訳（メタデータ） (2026-04-20T20:23:42Z) - Beyond Memorization: Reasoning-Driven Synthesis as a Mitigation Strategy Against Benchmark Contamination [77.69093448529455]
本稿では,arXiv論文から直接研究レベルのQAを合成するために,無限にスケーラブルなフレームワークを用いて実証的研究を行う。
各種サイズ,開発者,リリース日といったモデルについて,知識カットオフ日に近い性能劣化の欠如を評価した。
合成パイプラインで要求される多段階の推論は、浅い記憶よりも深い複雑さをもたらしたと仮定する。
論文 参考訳（メタデータ） (2025-08-26T16:41:37Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Nested Counterfactual Identification from Arbitrary Surrogate
Experiments [95.48089725859298]
観測と実験の任意の組み合わせからネスト反事実の同定について検討した。
具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
論文 参考訳（メタデータ） (2021-07-07T12:51:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。