論文の概要: Works on My QPU: Reproducibility in Quantum Computing Research

• arxiv url: http://arxiv.org/abs/2607.08348v1
• Date: Thu, 09 Jul 2026 10:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.504827
• Title: Works on My QPU: Reproducibility in Quantum Computing Research
• Title（参考訳）: 私のQPUに関する研究:量子コンピューティング研究における再現性
• Abstract要約: 量子コンピューティング研究におけるランドスケープを手動と自動で解析する。 コード可用性、環境仕様、ドキュメンテーション、ハードウェア記述、実行可能性をカバーする5つの問合せフレームワークを使用して、127の論文のキュレートされたサンプルを手作業で評価する。 手動で分析したところ、サンプルされた論文の24.4%だけがコードアーチファクトを提供しており、そのうち64.5%はクリーンな環境ではうまく実行できませんでした。
• 参考スコア（独自算出の注目度）: 1.0482211230201115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantum computing research increasingly depends on complex software stacks, yet the reproducibility of published results does not receive the priority and longevity mandated by recommendations of large international scientific bodies and best practices in software-centric systems research. In this paper, we present a combined manual and automated large-scale analysis of the reproducibility landscape in quantum computing research, quantify shortcomings, and derive actionable steps forward. We manually evaluate a curated sample of 127 papers using a five-question framework that covers code availability, environment specification, documentation, hardware description, and executability. To place these findings in a broader context, we conduct an automated large-scale screening of nearly 5000 quantum computing papers for the same reproducibility indicators. Our manual analysis reveals that only 24.4% of the sampled papers provide code artefacts, and among those, 64.5% fail to execute successfully in a clean environment. This assessment is corroborated by a large-scale automated analysis that yields a consistent code availability rate of 26.8%. Further, it shows that approximately one-third of the papers with accessible code lack machine-readable environment specifications. The results in this paper indicate that reproducibility is not yet consistently achieved in quantum computing research. In response, we outline a set of practical recommendations that address the observed failure modes and illustrate how reproducibility can be improved in practice.
• Abstract（参考訳）: 量子コンピューティングの研究はますます複雑なソフトウェアスタックに依存しているが、公表された結果の再現性は、大規模な国際科学機関の推薦やソフトウェア中心のシステム研究におけるベストプラクティスによって規定される優先順位と長寿を受け取らない。 本稿では、量子コンピューティング研究における再現性景観のマニュアルと自動化された大規模解析、欠点の定量化、そして実行可能なステップの導出について述べる。 コード可用性、環境仕様、ドキュメンテーション、ハードウェア記述、実行可能性をカバーする5つの問合せフレームワークを使用して、127の論文のキュレートされたサンプルを手作業で評価する。 これらの知見をより広い文脈に配置するために、同じ再現性指標に対して5000近い量子コンピューティング論文を自動で大規模にスクリーニングする。 手動で分析したところ、サンプルされた論文の24.4%だけがコードアーチファクトを提供しており、そのうち64.5%はクリーンな環境ではうまく実行できませんでした。 この評価は、一貫性のあるコード可用性率を26.8%とする大規模な自動分析によって裏付けられている。 さらに、アクセス可能なコードを持つ論文の約3分の1は、機械可読環境仕様を欠いていることを示している。 本稿では,量子コンピューティング研究において再現性はまだ一貫して達成されていないことを示す。 これに対し、観測された障害モードに対処する実践的なレコメンデーションのセットを概説し、再現性が実際にどのように改善できるかを説明する。

関連論文リスト

• AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
  研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。 我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。 障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
  論文  参考訳（メタデータ） (2026-05-18T17:08:26Z)
• MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility [2.2969445973129123]
  我々は機械学習の自律的な研究システムを評価するエンドツーエンドのベンチマークであるMLReplicateを紹介する。 このベンチマークは、ICML 2025論文から標準化された入力仕様に改定され、6つの最先端の研究システムで評価された。 自動レビューとは対照的に、人間レビュアーは、方法論上の欠陥、幻覚的な実験結果、全てのシステムにまたがる失敗を一貫して特定した。
  論文  参考訳（メタデータ） (2026-05-15T20:35:32Z)
• Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
  本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。 課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。 結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-05-01T17:42:12Z)
• PRBench: End-to-end Paper Reproduction in Physics Research [32.672534450424386]
  PRBenchは、11のサブフィールドにまたがる30の専門家によるタスクのベンチマークである。 エージェントは、タスク命令と紙の内容のみを提供し、サンドボックス実行環境で動作させる。 PRBench上の符号化エージェントのセットを評価し,科学的推論と実行の重要な側面にわたってそれらの能力を分析する。
  論文  参考訳（メタデータ） (2026-03-29T11:44:57Z)
• Assessing Reproducibility in Evolutionary Computation: A Case Study using Human- and LLM-based Assessment [2.0365636651755263]
  本稿では,10年間にわたる進化計算会議(Evolutionary Computation Conference)のY Combinatorial Optimization and Metaheuristics Trackで発表された論文の実践について検討する。 構造化チェックリストを導入し、選択したコーパスの体系的手動評価を通じて適用する。 さらに,紙テキストや関連コードからの信号を自動的に評価するシステムであるRECAP(REproducibility Checklist Automation Pipeline)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T08:32:29Z)
• SciCoQA: Quality Assurance for Scientific Paper--Code Alignment [53.70401063640645]
  SciCoQAは,学術出版物と論文の相違を検出するためのデータセットである。 我々のデータセットは611の紙コード不一致(81のリアル、530の合成)で構成されており、様々な計算科学分野にまたがっている。 評価における最高の性能モデルである GPT-5 は、実世界の紙コード差の45.7%しか検出できない。
  論文  参考訳（メタデータ） (2026-01-19T10:04:33Z)
• RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
  RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
  論文  参考訳（メタデータ） (2026-01-14T11:37:00Z)
• AutoMalDesc: Large-Scale Script Analysis for Cyber Threat Research [81.04845910798387]
  脅威検出のための自然言語の説明を生成することは、サイバーセキュリティ研究において未解決の問題である。 本稿では,大規模に独立して動作する自動静的解析要約フレームワークAutoMalDescを紹介する。 アノテーション付きシード(0.9K)データセットや方法論,評価フレームワークなど,100万以上のスクリプトサンプルの完全なデータセットを公開しています。
  論文  参考訳（メタデータ） (2025-11-17T13:05:25Z)
• Computational Reproducibility of R Code Supplements on OSF [0.0]
  多くのコードサプリメントは、計算環境を再現するために必要なドキュメントを欠いている。 本研究では,StatCodeSearchデータセットを用いて296のRプロジェクトの計算結果を評価する。 プロジェクトソースコードから直接計算環境を再構築する自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2025-05-27T13:06:38Z)
• AutoReproduce: Automatic AI Experiment Reproduction with Paper Lineage [62.049868205196425]
  AutoReproduceは、研究論文に記載された実験をエンドツーエンドで自動再生できるフレームワークである。 結果は、AutoReproduceが平均的なパフォーマンスギャップを22.1%$で達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-27T03:15:21Z)
• Investigating Reproducibility in Deep Learning-Based Software Fault Prediction [16.25827159504845]
  ますます複雑な機械学習モデルが急速に採用されるようになると、学者が文献で報告される結果を再現することがますます困難になる。 特に、適用されたディープラーニングモデルと評価方法論が適切に文書化されていない場合と、コードとデータが共有されていない場合である。 我々は,2019年から2022年にかけて,トップレベルのソフトウェアエンジニアリングカンファレンスにおいて,現在の文献を体系的にレビューし,56件の研究論文のレベルを検討した。
  論文  参考訳（メタデータ） (2024-02-08T13:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。