論文の概要: Automated Reproducibility Has a Problem Statement Problem

• arxiv url: http://arxiv.org/abs/2601.04226v1
• Date: Tue, 30 Dec 2025 15:56:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:52.794286
• Title: Automated Reproducibility Has a Problem Statement Problem
• Title（参考訳）: 自動化された再現性には問題がある
• Authors: Thijs Snelleman, Peter Lundestad Lawrence, Holger H. Hoos, Odd Erik Gundersen,
• Abstract要約: 再現性は科学的手法には不可欠であるが、しばしば再生は面倒な作業である。 近年の研究では、このプロセスの自動化と、このワークロードの研究者の救済が試みられている。 我々は、科学的手法に基づく構造を用いて、どんな経験的研究でも表現できると仮定する。
• 参考スコア（独自算出の注目度）: 9.222158486723012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background. Reproducibility is essential to the scientific method, but reproduction is often a laborious task. Recent works have attempted to automate this process and relieve researchers of this workload. However, due to varying definitions of reproducibility, a clear problem statement is missing. Objectives. Create a generalisable problem statement, applicable to any empirical study. We hypothesise that we can represent any empirical study using a structure based on the scientific method and that this representation can be automatically extracted from any publication, and captures the essence of the study. Methods. We apply our definition of reproducibility as a problem statement for the automatisation of reproducibility by automatically extracting the hypotheses, experiments and interpretations of 20 studies and assess the quality based on assessments by the original authors of each study. Results. We create a dataset representing the reproducibility problem, consisting of the representation of 20 studies. The majority of author feedback is positive, for all parts of the representation. In a few cases, our method failed to capture all elements of the study. We also find room for improvement at capturing specific details, such as results of experiments. Conclusions. We conclude that our formulation of the problem is able to capture the concept of reproducibility in empirical AI studies across a wide range of subfields. Authors of original publications generally agree that the produced structure is representative of their work; we believe improvements can be achieved by applying our findings to create a more structured and fine-grained output in future work.
• Abstract（参考訳）: 背景。 再現性は科学的手法には不可欠であるが、しばしば再生は面倒な作業である。 近年の研究では、このプロセスの自動化と、このワークロードの研究者の救済が試みられている。 しかし、再現性の異なる定義のため、明確な問題文が欠落している。 目的。 あらゆる実証研究に適用可能な一般的な問題文を作成する。 我々は、科学的手法に基づく構造を用いて実験的な研究を表現でき、この表現はあらゆる出版物から自動的に抽出でき、研究の本質を捉えることができると仮定する。 メソッド。 再現性の定義を,20研究の仮説,実験,解釈を自動的に抽出し,各研究の原著者による評価に基づく品質評価を行うことにより,再現性の自動化のための問題ステートメントとして適用する。 結果。 再現性問題を表すデータセットを作成した。 著者からのフィードバックの大部分は、表現のすべての部分に対して肯定的です。 少数のケースで、我々の手法は研究のすべての要素を捉えられなかった。 また、実験結果など、特定の詳細を捉えるための改善の余地もある。 結論。 我々は、この問題の定式化が、幅広いサブフィールドにわたる経験的AI研究における再現性の概念を捉えることができると結論付けている。 原著の著者は一般的に、生成した構造が彼らの作品の代表的ものであることに同意する。我々は、我々の発見を適用して、将来の作品においてより構造化され、きめ細かなアウトプットを生み出すことにより、改善が達成できると考えている。

関連論文リスト

• AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
  AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。 結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T03:15:21Z)
• Smoke and Mirrors in Causal Downstream Tasks [59.90654397037007]
  本稿では, 治療効果推定の因果推論タスクについて検討し, 高次元観察において利害関係が記録されている。 最先端の視覚バックボーンから微調整した6つの480モデルを比較し、サンプリングとモデリングの選択が因果推定の精度に大きく影響することを発見した。 以上の結果から,今後のベンチマークでは,下流の科学的問題,特に因果的な問題について慎重に検討すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T13:26:34Z)
• In-class Data Analysis Replications: Teaching Students while Testing Science [16.951059542542843]
  本研究では,EPFLで教えられた応用データ分析コースのプロジェクトコンポーネントにデータ解析の複製を組み込んだ。 学生がデータ分析の複製を期待していることと、彼らが経験したこととの間には相違点がある。 我々は,学術コミュニティにおけるクラス内データ分析レプリケーションの有意義なメリットを同定する。
  論文  参考訳（メタデータ） (2023-08-31T06:53:22Z)
• Missing Information, Unresponsive Authors, Experimental Flaws: The Impossibility of Assessing the Reproducibility of Previous Human Evaluations in NLP [84.08476873280644]
  13%の論文は (i) 再生の障壁が十分に低く、 (ii) 再生のために考慮すべき十分な入手可能な情報を持っていた。 その結果,コーディネート・リサーチ・デザインを再現的アプローチから標準化的・再生産的アプローチに変更しなければならなかった。
  論文  参考訳（メタデータ） (2023-05-02T17:46:12Z)
• Reproducibility in machine learning for medical imaging [3.1390096961027076]
  本章は、医療画像の機械学習分野の研究者への紹介である。 それぞれの目的は、それを定義すること、それを達成するための要件を説明すること、有用性について議論することである。 この章は、教義の利点に関する議論と、この概念と研究実践におけるその実践に対する非教義的なアプローチへの嘆願で終わる。
  論文  参考訳（メタデータ） (2022-09-12T09:00:04Z)
• Sources of Irreproducibility in Machine Learning: A Review [3.905855359082687]
  実験設計の選択と結論に対する潜在的な影響を関連付ける理論的枠組みは存在しない。 本研究の目的は、応用データサイエンスの実践者や研究者が、どのような設計選択が誤った発見につながるかを理解するためのフレームワークを開発することである。
  論文  参考訳（メタデータ） (2022-04-15T18:26:03Z)
• The Fundamental Principles of Reproducibility [2.4671396651514983]
  私は科学的手法に根ざした基礎的な見解を採っている。 科学的手法は、定義に必要な用語を開発するために分析され、特徴付けられる。
  論文  参考訳（メタデータ） (2020-11-19T20:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。