論文の概要: ReproBridge: Building Reproducibility into ML Research Artifacts
- arxiv url: http://arxiv.org/abs/2611.08452v1
- Date: Thu, 05 Nov 2026 18:45:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.626323
- Title: ReproBridge: Building Reproducibility into ML Research Artifacts
- Title（参考訳）: ReproBridge: ML研究成果物への再現性の構築
- Abstract要約: 機械学習の実験を再現するには、論文、リリースコード、サポートアーティファクトに散在する情報から手順を再構築する必要がある。
我々は,改良された環境設定,実験ランチャー,再生ガイドからなる標準化されたアーティファクト設計を定義する。
ReproBridge-Benchは36の論文にわたる387の実験から1,029のタスクを提供する。
- 参考スコア（独自算出の注目度）: 47.54962756472968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reproducing machine learning experiments requires reconstructing procedures from information scattered across papers, released code, and supporting artifacts. For coding agents, reproduction success can therefore depend on their ability to fill in missing details, rather than on the released artifacts alone. We ask whether preserving recovered procedures and decisions improves subsequent independent reproduction. We define a standardized artifact design comprising a refined codebase, environment setup, experiment launchers, and a reproduction guide, and introduce ReproBridge, an agent workflow for constructing these refined reproducible artifacts. ReproBridge-Bench provides 1,029 tasks from 387 experiments across 36 papers, anchored by five human-verified reference scores per task. Agents attempt tasks in fresh sessions with raw code or refined artifacts; a separate Auditor checks execution evidence. Across four evaluated models, refined artifacts raise mean reproduction success from 76.4% to 92.6% and reduce downstream API spending by 19.7% on average. The cross-model success-rate spread narrows from 21.6 to 3.9 percentage points, with all four models achieving mean success rates above 90%. Removing any component reduces success in the ablation study, with the largest losses from code and environment removal. These results suggest that preserving execution knowledge helps even models with lower raw-code success reproduce experiments more reliably and at lower API cost.
- Abstract（参考訳）: 機械学習の実験を再現するには、論文、リリースコード、サポートアーティファクトに散在する情報から手順を再構築する必要がある。
コーディングエージェントの場合、複製の成功は、リリースされたアーティファクトだけでなく、欠落した詳細を埋める能力に依存する可能性がある。
回復手続きの保存と意思決定がその後の独立再生を改善するかどうかを問う。
改良されたコードベース、環境設定、実験ランチャー、再生ガイドからなる標準化されたアーティファクト設計を定義し、これらの再現可能なアーティファクトを構築するためのエージェントワークフローであるReproBridgeを紹介した。
ReproBridge-Benchは36の論文にわたる387の実験から1,029のタスクを提供する。
エージェントは生のコードや精巧なアーティファクトを使って、新鮮なセッションでタスクを試みます。
4つの評価モデル全体で、改良されたアーティファクトは、平均して76.4%から92.6%まで、平均して19.7%のダウンストリームAPI使用量を削減している。
クロスモデルの成功率は21.6から3.9ポイントにまで狭まり、4つのモデル全てが90%を超える平均成功率を達成した。
あらゆるコンポーネントを取り除くことは、アブレーション研究の成功を減少させ、コードと環境の除去による最大の損失を被る。
これらの結果は、実行知識の保存が、生コードの成功率の低いモデルでさえ、より信頼性が高く、APIコストの低い実験を再現するのに役立つことを示唆している。
関連論文リスト
- Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。
Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。
また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
論文 参考訳（メタデータ） (2026-09-28T17:54:24Z) - ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks [60.600151982455195]
ProgramDistillは、完全に機能する参照アプリケーションとのインタラクションによって発見された機能について、コーディングエージェントを評価するベンチマークである。
私たちのパイプラインであるマイニングクラフトパッチは、26のアプリケーションにまたがる1,975のリプレイ検証された振る舞いを発見し、人間の介入なしに4,063のタスクを構築します。
論文 参考訳（メタデータ） (2026-09-16T15:19:05Z) - Praxist: From Experimental Artifacts to Solution Lineages [35.87900003147335]
R&Dエージェントは、自動評価の下で実行可能なアーティファクトを書き、実行し、改善する。
ほとんどのシステムは、それぞれの試みをほぼ自己完結したものとして扱うので、ログ、記憶、検索ツリーは、何が起きたかを記録する。
再現可能なアーティファクトと評価結果を型付きエビデンスグラフに変換する,系統中心の世代システムであるPraxistを紹介する。
論文 参考訳（メタデータ） (2026-08-26T16:13:05Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳（メタデータ） (2026-08-14T07:26:38Z) - AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation [11.272830796781925]
8つのモデルバックエンドから60個のSWEベンチ検証タスクの2,614個のOpenHandsトラジェクトリを評価した。
このサブセットで通過する軌道の中で、10.7%はラッキーパスと呼ばれる振る舞いを示す。
本稿では,SWEエージェント軌道のプロセスレベル評価フレームワークであるAgentLensを紹介する。
論文 参考訳（メタデータ） (2026-05-13T03:00:57Z) - Persistent Cross-Attempt State Optimization for Repository-Level Code Generation [9.264264685267616]
LiveCoderは、クロスプラットフォームの知識最適化に基づいた、リポジトリレベルのコード生成のための新しいフレームワークである。
LiveCoderは、その後の世代をガイドする以前の試みから、永続的なタスク固有の状態を維持している。
論文 参考訳（メタデータ） (2026-04-04T08:03:03Z) - APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。
我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
論文 参考訳（メタデータ） (2026-03-31T00:24:56Z) - Agent-Based Software Artifact Evaluation [15.526715803442746]
アーティファクト評価は、ソフトウェア工学(SE)研究コミュニティで15年間採用されてきた。
自動アーティファクト評価のための最初のエンドツーエンドエージェントベースのフレームワークであるArtifactCopilotを提案する。
論文 参考訳（メタデータ） (2026-02-02T15:41:16Z) - Training Task Experts through Retrieval Based Distillation [55.46054242512261]
ReBase(Retrieval Based Distillation)は、まずリッチなオンラインソースからデータを抽出し、それをドメイン固有のデータに変換する手法である。
SQADは最大7.8%,MNLIは1.37%,BigBench-Hardは1.94%向上した。
論文 参考訳（メタデータ） (2024-07-07T18:27:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。