論文の概要: VERITAS: Towards a General-Purpose Replication Tool for Scientific Research
- arxiv url: http://arxiv.org/abs/2607.02931v1
- Date: Fri, 03 Jul 2026 03:55:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.463115
- Title: VERITAS: Towards a General-Purpose Replication Tool for Scientific Research
- Title（参考訳）: VERITAS:科学研究のための汎用レプリケーションツールを目指して
- Abstract要約: CLIコーディングエージェントを中心に構築されたドメインに依存しないレプリケーションフレームワークであるVERITASを提案する。
論文、コードリポジトリ、またはその両方が与えられた場合、VERITASは論文の主張を抽出し、それらが生じる問題を解決しながら方法論を実行し、実験の実行から証拠に対して各主張を判断する。
パイプラインは重要度重み付けされたレプリケーションスコアを返します。
コンピュータ科学,社会科学,医学,天体物理学を対象とする65の論文, CORE-Bench と ReplicationBench について VERITAS の評価を行った。
- 参考スコア（独自算出の注目度）: 19.45546798679836
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI tools are accelerating scientific publication while the systems that review it struggle to keep up, and independent verification of published research has become both harder and more important. As manual replication is slow and expensive, a growing line of work uses coding agents to automate parts of the process. Existing efforts are largely packaged as benchmarks with companion agents that only run inside the benchmark's own pipeline, and no general-purpose replication tool exists. We present VERITAS, a domain-agnostic replication framework built around CLI coding agents. Given a paper, a code repository, or both, VERITAS extracts the paper's claims, runs the methodology while resolving issues as they arise, and judges each claim against the evidence from experiment runs. The pipeline returns an importance-weighted Replication Score, a severity-rated log of every fix applied, and the patched codebase. We evaluate VERITAS on CORE-Bench and ReplicationBench, 65 papers spanning computer science, social science, medicine, and astrophysics. Against two strong Claude Code baselines on the same model and host environment, VERITAS achieves state-of-the-art performance and leads on every metric on both benchmarks.
- Abstract（参考訳）: AIツールは科学出版を加速し、レビューするシステムは追いつくのに苦労しており、出版された研究の独立した検証は、より難しく、より重要になっている。
手動のレプリケーションは遅くてコストがかかるので、ますます増加する作業では、コーディングエージェントを使用してプロセスの一部を自動化する。
既存の作業は、ベンチマークのパイプライン内でのみ実行されるコンパニオンエージェントを備えたベンチマークとしてパッケージ化されており、汎用レプリケーションツールが存在しない。
CLIコーディングエージェントを中心に構築されたドメインに依存しないレプリケーションフレームワークであるVERITASを提案する。
論文、コードリポジトリ、またはその両方が与えられた場合、VERITASは論文の主張を抽出し、それらが生じる問題を解決しながら方法論を実行し、実験の実行から証拠に対して各主張を判断する。
パイプラインは、重要度重み付けされたレプリケーションスコア、適用されたすべての修正とパッチされたコードベースの厳格な評価ログを返します。
コンピュータ科学,社会科学,医学,天体物理学を対象とする65の論文, CORE-Bench と ReplicationBench について VERITAS の評価を行った。
同じモデルとホスト環境の2つの強力なClaude Codeベースラインに対して、VERITASは最先端のパフォーマンスを実現し、両方のベンチマークですべてのメトリックをリードする。
関連論文リスト
- AI Coding Agents Can Reproduce Social Science Findings [5.410553210073652]
最近の証拠は、AIコーディングエージェントが、元のデータとコードを提供すると、公表された結果を再現できることを示唆している。
SocSci-Repro-Benchは、4つの分野と13の実体ドメインにまたがる221のタスクのベンチマークである。
どちらも社会科学の発見を再現することができ、Claude CodeはCodexを大きく上回っている。
論文 参考訳（メタデータ） (2026-06-09T21:00:05Z) - AutoResearch: An Execution-Grounded Multi-Agent Framework for Reliable Research Workflow Automation [8.807417226975081]
AutoResearchは、信頼性の高い研究ワークフロー自動化のための実行基盤のマルチエージェントフレームワークである。
システムは、エラー、引用検証失敗、レビューエージェントフィードバックを、生成された研究成果物の実用的なフィルタリング信号として扱う。
論文 参考訳（メタデータ） (2026-05-04T08:24:21Z) - Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。
課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。
結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
論文 参考訳（メタデータ） (2026-05-01T17:42:12Z) - Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework [82.66443886385125]
ペーパーサークル(Paper Circle)は、学術文献の発見、評価、整理、理解に必要な労力を減らすために設計された発見・分析システムである。
1)複数のソースからのオフラインおよびオンライン検索を統合するディスカバリパイプライン,多エージェントスコアリング,多様性対応ランキング,構造化アウトプット,2)個々の論文を概念,メソッド,数値などの型付きノードで構造化された知識グラフに変換する分析パイプライン,の2つの補完パイプラインで構成されている。
論文 参考訳（メタデータ） (2026-04-07T17:59:58Z) - ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences [19.81372090301296]
ReplicatorBenchは、3段階にわたる研究レプリケーションにおけるAIエージェントの評価のためのエンドツーエンドのベンチマークである。
ReplicatorAgentは,Web検索やサンドボックス環境との反復的なインタラクションなど,必要なツールを備えたエージェントフレームワークである。
ReplicatorAgentは、4つの基礎となる大規模言語モデル(LLM)にまたがって評価する。
論文 参考訳（メタデータ） (2026-02-11T20:42:10Z) - Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches [0.3637090866781549]
計算研究の再現は、提供されたデータで元のコードを再実行するのと同じくらい単純であるとしばしば考えられている。
本研究では,大規模な言語モデルとAIエージェントが,そのような障害の診断と修復を自動化できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-09T11:59:59Z) - Reflective Paper-to-Code Reproduction Enabled by Fine-Grained Verification [46.845133190560375]
複雑なコードを効率的にデバッグするために、人間が体系的なチェックリストを使う方法に触発されて、textbfReflective Paper-to-Code textbfReproductionフレームワークである textbfReProを提案する。
紙の指紋を自動的に抽出し、高品質な監視信号として機能する、正確で原子的な基準の包括的なセットを参照する。
ベースラインよりも13.0%のパフォーマンスギャップを達成し、反射の複雑な論理的および数学的基準を正しく修正する。
論文 参考訳（メタデータ） (2025-08-21T06:57:44Z) - From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。
我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。
本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-24T15:39:20Z) - AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。
結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
論文 参考訳（メタデータ） (2025-05-27T03:15:21Z) - Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning [70.04746094652653]
機械学習論文を機能コードリポジトリに変換するフレームワークであるPaperCoderを紹介した。
PaperCoderは3つの段階で動作する。計画、図によるシステムアーキテクチャの設計、ファイル依存の特定、構成ファイルの生成である。
次に、モデルベースおよび人的評価の両方に基づいて、機械学習論文からコード実装を生成するPaperCoderを評価する。
論文 参考訳（メタデータ） (2025-04-24T01:57:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。