論文の概要: ReproScore: Separating Readiness from Outcome in Research Software Reproducibility Assessment

• arxiv url: http://arxiv.org/abs/2605.13275v1
• Date: Wed, 13 May 2026 09:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.958981
• Title: ReproScore: Separating Readiness from Outcome in Research Software Reproducibility Assessment
• Title（参考訳）: ReproScore: 研究ソフトウェア再現性の評価において、成果から準備を分離する
• Authors: Sheeba Samuel, Daniel Mietchen, Jungsan Kim, Waqas Ahmed, Martin Gaedke,
• Abstract要約: デジタルライブラリは、数百万の研究ソフトウェアアーティファクトをキュレートするが、それらのアーティファクトが実行可能かどうかを評価するためのスケーラブルなインフラが欠如している。 ReproScoreは、結果(ROS)から読みやすさ(RRS)を明示的に分離する2層フレームワークである。 RRSは5つのカテゴリにまたがって26のサブメトリックで構成されており、ROSはサンドボックスインフラストラクチャが利用可能であるときに実行ベースのプローブを提供する。
• 参考スコア（独自算出の注目度）: 0.9623578875486184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Digital libraries curate millions of research software artefacts yet lack scalable infrastructure for assessing whether those artefacts remain executable. Existing automated assessment tools treat static repository completeness -- what a repository contains -- as a proxy for execution success -- whether it runs. We term this the readiness-outcome conflation and present ReproScore, a two-tier framework that explicitly separates reproducibility readiness (RRS) from reproducibility outcome (ROS), combining them into a coverage-adaptive Composite Score (RCS). RRS comprises 26 sub-metrics across five categories; ROS provides execution-based probes when sandbox infrastructure is available; a community rubric externalises weighting priorities as versioned YAML profiles. Evaluated on 423 GitHub repositories from a large-scale ground-truth corpus spanning five failure modes, two complementary findings emerge: the environment category strongly discriminates failure mode, confirming static signals capture meaningful structural differences; yet RRS exhibits near-zero binary success correlation, empirically quantifying the readiness-outcome gap at repository scale. Together, these findings validate the architectural separation as both necessary and non-trivial, positioning ReproScore as scalable infrastructure for reproducibility-aware curation in digital library workflows.
• Abstract（参考訳）: デジタルライブラリは、数百万の研究ソフトウェアアーティファクトをキュレートするが、それらのアーティファクトが実行可能かどうかを評価するためのスケーラブルなインフラが欠如している。 既存の自動アセスメントツールは、実行が成功したかどうかに関わらず、静的リポジトリの完全性 -- リポジトリに含まれるもの -- をプロキシとして扱う。 ReproScoreは、再現性(ROS)と再現性(ROS)を明確に分離し、それらをカバレッジ適応型複合スコア(RCS)に結合する2層フレームワークである。 RRSは5つのカテゴリにまたがって26のサブメトリックで構成されており、ROSはサンドボックスインフラストラクチャが利用できる場合に実行ベースのプローブを提供する。 環境カテゴリは障害モードを強く識別し、静的信号が有意義な構造上の違いを捉えることを確認する。しかしRSSは、ほぼゼロのバイナリ成功相関を示し、リポジトリスケールにおける準備と成果のギャップを実証的に定量化している。 これらの知見を合わせて,ReproScoreをデジタルライブラリワークフローにおける再現性を考慮したキュレーションのためのスケーラブルなインフラストラクチャとして位置づけ,必要かつ非自明なアーキテクチャ分離を検証した。

関連論文リスト

• Containing the Reproducibility Gap: Automated Repository-Level Containerization for Scholarly Jupyter Notebooks [0.0]
  環境の漂流、文書化されていない依存関係、暗黙的な実行仮定は、出版された研究の独立した再実行を妨げる。 学術ノートのリポジトリレベルの実行環境を再構築し,評価する,Web指向の自動化型エンジニアリングパイプラインを提案する。 システムは依存性推論、コンテナの自動生成、ノートブックのオリジナルの計算コンテキストを近似するために独立した実行を実行する。
  論文  参考訳（メタデータ） (2026-04-01T16:07:54Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• VeriSoftBench: Repository-Scale Formal Verification Benchmarks for Lean [34.16542476896347]
  オープンソースのフォーマルメソッド開発から引き出された500リーン4の証明義務のベンチマークを導入します。 我々は、Mathlib型数学用に調整されたプローバーが、このリポジトリ中心の設定に不十分に移行していることを発見した。 証明の依存性のクロージャに制限されたキュレートされたコンテキストを提供することで、完全なリポジトリを公開することでパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-02-20T16:05:06Z)
• RARE: Retrieval-Aware Robustness Evaluation for Retrieval-Augmented Generation Systems [33.389969814185214]
  Retrieval-Augmented Generation (RAG)は、回答の正確性と事実性を高める。 既存の評価では、RAGシステムが現実世界のノイズ、内部と外部の取得したコンテキストの衝突、あるいは急速に変化する事実にどれくらいうまく対処しているかを検査することはめったにない。 本稿では,動的で時間に敏感なコーパス上でのストレステストクエリと文書摂動を共同で行う,統一されたフレームワークと大規模ベンチマークであるRetrieval-Aware Robustness Evaluation (RARE)を紹介する。
  論文  参考訳（メタデータ） (2025-06-01T02:42:36Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。