論文の概要: Reflective Paper-to-Code Reproduction Enabled by Fine-Grained Verification

• arxiv url: http://arxiv.org/abs/2508.16671v1
• Date: Thu, 21 Aug 2025 06:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.106368
• Title: Reflective Paper-to-Code Reproduction Enabled by Fine-Grained Verification
• Title（参考訳）: 細粒化検証によるリフレクティブペーパー・コード再生
• Authors: Mingyang Zhou, Quanming Yao, Lun Du, Lanning Wei, Da Zheng,
• Abstract要約: 複雑なコードを効率的にデバッグするために、人間が体系的なチェックリストを使う方法に触発されて、textbfReflective Paper-to-Code textbfReproductionフレームワークである textbfReProを提案する。 紙の指紋を自動的に抽出し、高品質な監視信号として機能する、正確で原子的な基準の包括的なセットを参照する。 ベースラインよりも13.0%のパフォーマンスギャップを達成し、反射の複雑な論理的および数学的基準を正しく修正する。
• 参考スコア（独自算出の注目度）: 46.845133190560375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reproducing machine learning papers is essential for scientific progress but remains challenging for both humans and automated agents. Existing agent-based methods often struggle to fully and accurately reproduce implementation details such as mathematical formulas and algorithmic logic. Previous studies show that reflection with explicit feedback improves agent performance. However, current paper reproduction methods fail to effectively adopt this strategy. This gap mainly arises from the diverse paper patterns, complex method modules, and varied configurations encountered in research papers. Motivated by how humans use systematic checklists to efficiently debug complex code, we propose \textbf{RePro}, a \textbf{Re}flective Paper-to-Code \textbf{Repro}duction framework that automatically extracts a paper's fingerprint, referring to a comprehensive set of accurate and atomic criteria serving as high-quality supervisory signals. The framework first generates code based on the extracted information, and then leverages the fingerprint within iterative verification and refinement loop. This approach systematically detects discrepancies and produces targeted revisions to align generated code with the paper's implementation details. Extensive experiments on the PaperBench Code-Dev benchmark have been conducted, RePro achieves 13.0\% performance gap over baselines, and it correctly revises complex logical and mathematical criteria in reflecting, on which the effectiveness is obvious.
• Abstract（参考訳）: 機械学習の論文の再現は科学的な進歩には不可欠だが、人間と自動化されたエージェントには依然として困難である。 既存のエージェントベースの手法は、数学的公式やアルゴリズム論理のような実装の詳細を完全かつ正確に再現するのに苦労することが多い。 これまでの研究では、明示的なフィードバックによるリフレクションがエージェントのパフォーマンスを向上させることが示されている。 しかし、現在の紙再生法はこの戦略を効果的に採用することができない。 このギャップは主に、研究論文で遭遇した多彩な紙パターン、複雑なメソッドモジュール、様々な構成から生じる。 複雑なコードを効率的にデバッグするための体系的なチェックリストの使用法に着想を得て,紙の指紋を自動的に抽出する <textbf{RePro}, \textbf{Re}flective Paper-to-Code \textbf{Repro}duction frameworkを提案する。 フレームワークはまず抽出した情報に基づいてコードを生成し、その後、反復検証と精査ループ内で指紋を利用する。 このアプローチは、系統的に不一致を検知し、生成したコードと実装の詳細を整合させるターゲットリビジョンを生成する。 PaperBench Code-Devベンチマークの大規模な実験が行われ、ReProはベースラインよりも13.0\%のパフォーマンスギャップを達成し、その効果が明らかである複雑な論理的および数学的基準を正しく修正している。

関連論文リスト

• AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
  AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。 結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T03:15:21Z)
• Paper2Code: Automating Code Generation from Scientific Papers in Machine Learning [57.09163579304332]
  機械学習論文を機能コードリポジトリに変換するフレームワークであるPaperCoderを紹介した。 PaperCoderは3つの段階で動作する。計画、図によるシステムアーキテクチャの設計、ファイル依存の特定、構成ファイルの生成である。 次に、モデルベースおよび人的評価の両方に基づいて、機械学習論文からコード実装を生成するPaperCoderを評価する。
  論文  参考訳（メタデータ） (2025-04-24T01:57:01Z)
• Enhancing Code Consistency in AI Research with Large Language Models and Retrieval-Augmented Generation [0.0]
  本稿では,対応する研究論文に概説されたアルゴリズムと方法論に対するコード実装の検証を目的とした,新しいシステムを提案する。 本システムではRetrieval-Augmented Generationを用いて研究論文とコードベースの両方から関連する詳細を抽出し,続いてLarge Language Modelを用いた構造化比較を行った。
  論文  参考訳（メタデータ） (2025-02-02T00:35:42Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• CodeRefine: A Pipeline for Enhancing LLM-Generated Code Implementations of Research Papers [0.0]
  CodeRefineは、研究論文の方法論を大規模言語モデルを用いて機能コードに変換するためのフレームワークである。 我々の多段階アプローチはまず、論文からキーテキストチャンクを抽出して要約し、それらのコード関連性を分析し、知識グラフを作成する。 その後、この構造化表現からコードが生成され、提案されたリフレクション検索拡張生成アプローチによって拡張される。
  論文  参考訳（メタデータ） (2024-08-23T20:51:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。