論文の概要: Beyond Execution: Auditing Experimental Fidelity in LLM-Driven Scientific Research

• arxiv url: http://arxiv.org/abs/2608.26753v1
• Date: Thu, 27 Aug 2026 07:49:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.29498
• Title: Beyond Execution: Auditing Experimental Fidelity in LLM-Driven Scientific Research
• Title（参考訳）: 実践を超えて: LLM駆動科学研究における実験的忠実さの検証
• Abstract要約: LLMエージェントは、参照メソッドを忠実に実装し、論文のクレームをテストする実験を設計し、それらのクレームを裏付ける証拠を提供する必要がある。 エージェントは、データセットを静かに減らしたり、予算を訓練したり、失敗した学習や生成部品をルックアップやオラクル機能に置き換えたりといった、方法論的な幻覚をしばしば生み出す。 我々は、要求、プロトコル、必要なコンポーネント、ベースライン、メトリクスを構造化された実験的制約として表現する、参照型監査フレームワークであるABE-Ralphを紹介します。
• 参考スコア（独自算出の注目度）: 11.411619567209923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents used for scientific experimentation must do more than generate executable code: they must implement the reference method faithfully, design experiments that test the paper's claims, and provide evidence supporting those claims. We show that agents often produce methodological hallucinations: silently reducing datasets or training budgets, replacing failed learning or generative components with lookup or oracle functions, or drawing conclusions from resource-limited settings where a method's claimed advantage disappears. To detect these failures, we introduce ABE-Ralph, a reference-anchored auditing framework that represents claims, protocols, required components, baselines, and metrics as structured experimental constraints, guides implementation through an 8-step workflow, and performs quantitative, qualitative, and code-level verification. Across 30 long-horizon reproduction runs covering 12 machine learning domains, ABE-Ralph achieves a 93% robust execution rate and identifies five scientific failure modes. In 23 NatureBench discovery tasks, ABE-Ralph matches or exceeds state-of-the-art performance on 5 tasks. These results show that reliable evaluation of AI scientists must assess whether the experimental design faithfully tests the intended claim and whether the resulting evidence supports it, rather than treating code execution or plausible metrics as evidence of scientific success.
• Abstract（参考訳）: 科学的実験に用いられるLLMエージェントは、実行可能なコードを生成する以上のことをしなければならない:彼らは、参照メソッドを忠実に実装し、論文のクレームをテストする設計実験を行い、それらのクレームを裏付ける証拠を提供する必要がある。 エージェントは、データセットを静かに減らしたり、トレーニング予算を減らしたり、学習に失敗したり、生成部品をルックアップやオラクル機能に置き換えたり、メソッドの主張する利点が消えるリソース制限された設定から結論を導いたりする。 これらの障害を検出するために、我々は、要求、プロトコル、必要なコンポーネント、ベースライン、メトリクスを構造化された実験的制約として表現し、8ステップのワークフローを通じて実装をガイドし、量的、質的、およびコードレベルの検証を行う、参照型監査フレームワークであるABE-Ralphを紹介した。 12の機械学習ドメインをカバーする30の長い水平再生の実行に対して、ABE-Ralphは93%の堅牢な実行速度を実現し、5つの科学的障害モードを特定している。 23のNatureBench発見タスクでは、ABE-Ralphは5つのタスクで最先端のパフォーマンスにマッチするか、超える。 これらの結果は、実験的な設計が意図した主張を忠実に検証するかどうか、そして結果の証拠がそれを裏付けるかどうかを、AI科学者の信頼性評価が評価する必要があることを示している。

関連論文リスト

• One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
  我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。 その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。 12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
  論文  参考訳（メタデータ） (2026-06-30T10:54:16Z)
• When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study [77.64957118012423]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。 最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-06-18T19:15:50Z)
• AI Coding Agents Can Reproduce Social Science Findings [5.410553210073652]
  最近の証拠は、AIコーディングエージェントが、元のデータとコードを提供すると、公表された結果を再現できることを示唆している。 SocSci-Repro-Benchは、4つの分野と13の実体ドメインにまたがる221のタスクのベンチマークである。 どちらも社会科学の発見を再現することができ、Claude CodeはCodexを大きく上回っている。
  論文  参考訳（メタデータ） (2026-06-09T21:00:05Z)
• FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
  FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。 最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
  論文  参考訳（メタデータ） (2026-02-02T23:21:13Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)
• Best Practices for Machine Learning Experimentation in Scientific Applications [3.093890460224435]
  本稿では,科学的応用における機械学習実験の実践的かつ構造化されたガイドを提案する。 データセット作成からモデル選択,評価に至るまで,ステップバイステップのワークフローを概説する。 本稿では、対数オーバーフィッティング比(LOR)や複合オーバーフィッティングスコア(COS)など、折り畳みのオーバーフィッティングと不安定性を考慮に入れたメトリクスを提案する。
  論文  参考訳（メタデータ） (2025-11-26T13:02:31Z)
• RECODE-H: A Benchmark for Research Code Development with Interactive Human Feedback [87.97664892075811]
  研究論文やリポジトリからの102タスクのベンチマークであるRECODE-Hを提案する。 構造化された命令、単体テスト、現実的な研究者とエージェントのコラボレーションを反映する5段階のフィードバック階層が含まれる。 フィードバックを反復的なコード生成に統合するフレームワークであるReCodeAgentも紹介します。
  論文  参考訳（メタデータ） (2025-10-07T17:45:35Z)
• Large-scale, Independent and Comprehensive study of the power of LLMs for test case generation [11.517293765116307]
  ユニットテストはソフトウェアの信頼性に不可欠だが、手動のテスト作成には時間がかかり、しばしば無視される。 本研究は,LLM生成単体テストの大規模評価をクラスレベルで行った最初の大規模評価である。
  論文  参考訳（メタデータ） (2024-06-28T20:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。