論文の概要: Overview of the NLPCC 2026 Shared Task 11: Agent-Based Experiment Reproduction from Scientific Papers
- arxiv url: http://arxiv.org/abs/2609.11117v1
- Date: Thu, 10 Sep 2026 05:50:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.216939
- Title: Overview of the NLPCC 2026 Shared Task 11: Agent-Based Experiment Reproduction from Scientific Papers
- Title（参考訳）: NLPCC 2026共有タスク11: 科学論文からのエージェントベース実験再現
- Abstract要約: AgentActionBenchは、機械学習とAI4Scienceドメインにわたるエージェントベースの実験再現を評価するための、プロセス指向のベンチマークである。
我々のフレームワークは、MPPベースのアクションレコーダーを使用して、複製プロセス全体を通してエージェントの振る舞いを捉え、紙固有の潤滑剤を用いて結果のトレースを評価する。
ベンチマークの10%をカバーする人間アノテーション付きのサブセットは、検証データを提供し、モデルアシストの強化は、ベンチマーク全体を10,000以上のルーリックアイテムに拡張する。
- 参考スコア（独自算出の注目度）: 29.922671630644558
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reproducibility is essential to scientific progress, yet the growing volume and complexity of scientific publications make exhaustive manual verification increasingly impractical. Although recent advances in large language model (LLM) agents enable automated experiment reproduction, existing evaluations largely focus on final repositories and are typically limited to machine learning (ML). We introduce AgentActionBench, a process-oriented benchmark for evaluating agent-based experiment reproduction across ML and AI4Science domains. Our framework uses an MCP-based Action Recorder to capture agents' behaviour throughout the reproduction process and evaluates the resulting traces with paper-specific rubrics. AgentActionBench contains 150 papers, including 120 ML papers and 30 AI4Science papers. A human-annotated subset covering 10% of the benchmark provides validation data, while model-assisted augmentation expands the full benchmark to more than 10,000 rubric items. Experimental results show that current systems remain limited, with execution as the primary bottleneck. Meanwhile, the strong Pearson and Spearman correlations between model-generated and human-annotated rubrics validate the reliability of our scalable rubric-generation approach.
- Abstract（参考訳）: 再現性は科学的進歩に不可欠であるが、科学出版物の量と複雑さの増大により、徹底的な手作業による検証はますます非現実的になる。
大規模言語モデル(LLM)エージェントの最近の進歩は自動的な実験再現を可能にするが、既存の評価は主に最終リポジトリに焦点を当てており、一般的に機械学習(ML)に限られている。
我々は、MLおよびAI4Scienceドメイン間でエージェントベースの実験再現を評価するプロセス指向ベンチマークであるAgentActionBenchを紹介する。
我々のフレームワークは、MPPベースのアクションレコーダーを使用して、複製プロセス全体を通してエージェントの振る舞いを捉え、紙固有の潤滑剤を用いて結果のトレースを評価する。
AgentActionBenchには150の論文があり、その中には120のML論文と30のAI4Science論文が含まれている。
ベンチマークの10%をカバーする人間アノテーション付きのサブセットは、検証データを提供し、モデルアシストの強化は、ベンチマーク全体を10,000以上のルーリックアイテムに拡張する。
実験結果から、現在のシステムは依然として限定的であり、実行が主要なボトルネックであることが示された。
一方、PearsonとSpearmanのモデル生成ルーリックと人間アノテーションの相関関係は、我々のスケーラブルなルーリック生成アプローチの信頼性を検証している。
関連論文リスト
- AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers [39.39345650320786]
AgentHPOBenchは、7つの研究カテゴリにわたる30の実行可能な機械学習タスクからなる逐次ベンチマークである。
広範に使用されている12のエージェントと従来型のHPOベースラインを統一プロトコルで評価した。
その結果、現在のエージェントは、ドメイン間で測定可能な実験最適化能力を示すが、継続的改善、複雑なログ診断、報告された参照性能への一貫した進歩において、明確な制限に直面していることがわかった。
論文 参考訳（メタデータ） (2026-07-31T16:58:00Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳（メタデータ） (2026-02-16T19:00:03Z) - Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment [2.0365636651755263]
本稿では,10年間にわたる進化計算会議(Evolutionary Computation Conference)のY Combinatorial Optimization and Metaheuristics Trackで発表された論文の実践について検討する。
構造化チェックリストを導入し、選択したコーパスの体系的手動評価を通じて適用する。
さらに,紙テキストや関連コードからの信号を自動的に評価するシステムであるRECAP(REproducibility Checklist Automation Pipeline)を提案する。
論文 参考訳（メタデータ） (2026-02-05T08:32:29Z) - HumanStudy-Bench: Towards AI Agent Design for Participant Simulation [11.906370453952265]
大規模言語モデル (LLMs) は、社会科学実験のシミュレーション参加者としてますます使われている。
HUMANSTUDY-BENCHは、LLMベースのエージェントを編成し、人体実験を再構築するベンチマークおよび実行エンジンである。
科学的推論のレベルでの忠実度を評価するために,人間とエージェントの行動がどの程度一致しているかを定量化するための新しい指標を提案する。
論文 参考訳（メタデータ） (2026-01-31T12:07:42Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z) - AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。
結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
論文 参考訳（メタデータ） (2025-05-27T03:15:21Z) - PaperBench: Evaluating AI's Ability to Replicate AI Research [3.4567792239799133]
PaperBenchは、AIエージェントが最先端のAI研究を複製する能力を評価するベンチマークである。
エージェントは、スクラッチから20個のICML 2024 SpotlightとOralの文書を複製する必要がある。
PaperBenchには8,316の個別の段階的なタスクが含まれている。
論文 参考訳（メタデータ） (2025-04-02T15:55:24Z) - MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳（メタデータ） (2024-02-18T04:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。