論文の概要: Computational Reproducibility of R Code Supplements on OSF

• arxiv url: http://arxiv.org/abs/2505.21590v1
• Date: Tue, 27 May 2025 13:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.191859
• Title: Computational Reproducibility of R Code Supplements on OSF
• Title（参考訳）: OSF上のRコードサプリメントの計算的再現性
• Authors: Lorraine Saju, Tobias Holtdirk, Meetkumar Pravinbhai Mangroliya, Arnim Bleier,
• Abstract要約: 多くのコードサプリメントは、計算環境を再現するために必要なドキュメントを欠いている。 本研究では,StatCodeSearchデータセットを用いて296のRプロジェクトの計算結果を評価する。 プロジェクトソースコードから直接計算環境を再構築する自動パイプラインを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computational reproducibility is fundamental to scientific research, yet many published code supplements lack the necessary documentation to recreate their computational environments. While researchers increasingly share code alongside publications, the actual reproducibility of these materials remains poorly understood. In this work, we assess the computational reproducibility of 296 R projects using the StatCodeSearch dataset. Of these, only 264 were still retrievable, and 98.8% lacked formal dependency descriptions required for successful execution. To address this, we developed an automated pipeline that reconstructs computational environments directly from project source code. Applying this pipeline, we executed the R scripts within custom Docker containers and found that 25.87% completed successfully without error. We conducted a detailed analysis of execution failures, identifying reproducibility barriers such as undeclared dependencies, invalid file paths, and system-level issues. Our findings show that automated dependency inference and containerisation can support scalable verification of computational reproducibility and help identify practical obstacles to code reuse and transparency in scientific research.
• Abstract（参考訳）: 計算再現性は科学研究の基本であるが、多くのコードサプリメントは計算環境を再現するために必要なドキュメントを欠いている。 研究者は出版物とともにコードを共有する傾向にあるが、これらの資料の実際の再現性はいまだに理解されていない。 本研究では,StatCodeSearchデータセットを用いて296のRプロジェクトの計算再現性を評価する。 これらのうち、まだ264しか回収できず、98.8%は実行を成功させるために必要な公式な依存関係記述を欠いていた。 そこで我々は,プロジェクトソースコードから直接計算環境を再構築する自動パイプラインを開発した。 このパイプラインを適用して、カスタムDockerコンテナ内でRスクリプトを実行し、エラーなく25.87%が正常に完了したことが分かった。 我々は、実行障害の詳細な分析を行い、未宣言の依存関係、無効なファイルパス、システムレベルの問題などの再現可能性障壁を特定した。 自動依存関係推論とコンテナ化は、計算再現性のスケーラブルな検証を支援し、科学的研究におけるコードの再利用と透明性の実践的障害を特定するのに役立つことを示す。

関連論文リスト

• AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [64.11446484075157]
  AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。 結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T03:15:21Z)
• SciReplicate-Bench: Benchmarking LLMs in Agent-driven Algorithmic Reproduction from Research Papers [16.80818230868491]
  本研究では,最近のNLP論文のアルゴリズム記述からコードを生成する際の言語モデル (LLM) を評価する。 厳密な評価を容易にするため、2024年に発行された36のNLP論文から100のタスクのベンチマークであるSciReplicate-Benchを紹介する。 SciReplicate-Bench上に構築されたSci-Reproducerは,論文からアルゴリズムの概念を解釈するPaper Agentと,リポジトリから依存関係を検索してソリューションを実装するCode Agentから構成されるマルチエージェントフレームワークである。
  論文  参考訳（メタデータ） (2025-03-31T22:02:24Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• Hierarchical Context Pruning: Optimizing Real-World Code Completion with Repository-Level Pretrained Code LLMs [24.00351065427465]
  本稿では,階層型コンテキストプルーニング(HCP)という戦略を提案し,高い情報量を持つコンプリートプロンプトを構築する。 HCPは関数レベルでコードリポジトリをモデル化し、コードファイル間のトポロジ的な依存関係を維持しながら、大量の無関係なコードコンテンツを削除する。
  論文  参考訳（メタデータ） (2024-06-26T12:26:16Z)
• On the Impacts of Contexts on Repository-Level Code Generation [5.641402231731082]
  本稿ではレポジトリレベルのコード生成を評価するために設計された新しいベンチマークであるRepoExecを紹介する。 実行可能性、包括的なテストケース生成による機能的正当性、ファイル間のコンテキストの正確な利用という3つの重要な側面に注目します。
  論文  参考訳（メタデータ） (2024-06-17T10:45:22Z)
• RepoCoder: Repository-Level Code Completion Through Iterative Retrieval and Generation [96.75695811963242]
  RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。 類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。 バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-03-22T13:54:46Z)
• [not Rp] Reproducibility of 'Poincare dodecahedral space parameter estimates' [0.0]
  本論文は,2008年に発表された宇宙トポロジ観測論文を再現する試みである。 再生ステップは、無償ライセンスのgitリポジトリパッケージ "0807.4260" で正式に定義される。
  論文  参考訳（メタデータ） (2020-07-23T21:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。