論文の概要: RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?

• arxiv url: http://arxiv.org/abs/2609.28850v1
• Date: Wed, 23 Sep 2026 23:41:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.605099
• Title: RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?
• Title（参考訳）: ReCLAIM: エージェントは機械学習論文の主張を再現できるか?
• Abstract要約: 我々は、毎年新しいカンファレンスから再構築できる100のNeurIPS 2025論文のベンチマークを構築します。 各論文に対して、前もって結果の再現、成功した再現と数えられるもの、GPU時間予算を修正します。 各層で最高のエージェントはラン層紙の41%しか再生せず、Retrainでは27%、Reimplementでは15%しか再生できません。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reproducing a machine learning paper involves most research steps, from installing software and debugging to running experiments, work that AI agents increasingly do. We introduce RECLAIM, a benchmark of 100 NeurIPS 2025 papers that can be rebuilt yearly from new conferences. For each paper we fix in advance the result to reproduce, what counts as a successful reproduction, and a GPU-hour budget. An agent must reproduce that result using the paper and whatever its authors released. What the authors released decides the difficulty tier. Run-tier releases include code, data, and weights; Retrain-tier releases lack weights, so the agent trains the model; Reimplement-tier releases lack code, so the agent writes it. A separate language model grades runs from logs and outputs rather than agents' reports. We run four agents once per paper; the best agent in each tier reproduces only 41% of Run-tier papers, 27% at Retrain, and 15% at Reimplement, where every agent does worst. Failed attempts use on average 29% of their budget, so most stop with budget left. The most common agent error is writing the method without checking any part against the paper's numbers, in 63 of 400 runs.
• Abstract（参考訳）: 機械学習の論文を再現するには、ソフトウェアのインストールやデバッグ、実験の実行、AIエージェントがますます行う作業など、ほとんどの研究ステップが必要になる。 我々は、新しいカンファレンスから毎年再構築できる100 NeurIPS 2025論文のベンチマークであるRECLAIMを紹介します。 各論文に対して、前もって結果の再現、成功した複製と数えられるもの、GPU時間予算を修正します。 エージェントは、論文とその著者が公開したものを使って、その結果を再現しなければならない。 著者がリリースしたものが難易度を決定する。 実行層リリースには、コード、データ、重みが含まれている。Retrain層リリースには重みがないので、エージェントはモデルをトレーニングする。 別個の言語モデルグレードは、エージェントのレポートではなく、ログとアウトプットから実行される。 各層で最高のエージェントはラン層紙の41%しか再生せず、Retrainでは27%、Reimplementでは15%しか再生できません。 失敗に終わった試みは予算の29%を消費するので、たいていは予算を残して停止する。 最も一般的なエージェントエラーは、400ラン中63ランで、紙の番号にチェックせずにメソッドを書くことである。

関連論文リスト

• Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
  ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。 循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。 そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
  論文  参考訳（メタデータ） (2026-08-25T09:34:18Z)
• Writing Bug Reports for Software Repair Agents: What Information Matters Most? [45.10027008889631]
  バグレポートのエージェント対応について検討する。 バグレポートを表す441の課題に注目します。 その結果,エージェントファーストレポートは,エージェントの検索・修理スペースを狭める情報から最も恩恵を受けることが示唆された。
  論文  参考訳（メタデータ） (2026-07-10T16:00:57Z)
• What Makes a Good Bug Report for an AI Agent? [8.139494830308486]
  エージェントのための良いバグレポートは、重複するが、人間にとって良い報告ではない。 修正提案、複製スクリプト、リポジトリのソースコード、ローカライゼーション情報は、高い解像度の確率に関連付けられている。 人間の読者にとって長年強調されてきたいくつかの特質、例えば、自然言語のステップで読みやすい記述を再現し、より少ない成功にはほとんど寄与しないか、あるいは相関している。
  論文  参考訳（メタデータ） (2026-07-08T16:13:15Z)
• ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues [54.98461672730087]
  ReproRepoは、人為的なGitHub問題を活用するスケーラブルな評価フレームワークで、現実的な再現ブロッカーを自然に監視する。 ReproRepoは、大規模なカンファレンスから1,149件の機械学習論文をインスタンス化し、4つのフロンティアモデルエージェント構成を評価します。 その結果, LLMエージェントは, コードを実行せずにも, 紙とリポジトリのペアから多くの実世界の問題を識別できることがわかった。
  論文  参考訳（メタデータ） (2026-06-16T17:58:05Z)
• The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
  本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。 通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
  論文  参考訳（メタデータ） (2026-04-27T16:23:09Z)
• Read the Paper, Write the Code: Agentic Reproduction of Social-Science Results [46.81245843451412]
  論文から構造化された方法記述を抽出するエージェント再生システムを開発した。 エージェントは元のコードや結果、あるいは紙を見ることはない。 エラー帰属ステップは、根本原因を特定するためにシステムチェーンをトレースする。
  論文  参考訳（メタデータ） (2026-04-23T17:59:18Z)
• AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
  AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。 各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。 シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
  論文  参考訳（メタデータ） (2026-02-03T19:18:28Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• REPRO-Bench: Can Agentic AI Systems Assess the Reproducibility of Social Science Research? [2.111102681327218]
  研究論文を再現するための既存のベンチマークは、提供されたコードとデータを使用した結果の再現のみに焦点を当てている。 本稿では112のタスクインスタンスからなるREPRO-Benchについて紹介する。 我々はREPRO-Bench上での3つの代表的AIエージェントの評価を行い、最も優れたエージェントは21.4%の精度である。
  論文  参考訳（メタデータ） (2025-07-25T02:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。