論文の概要: Improving the Reproducibility of Deep Learning Software: An Initial Investigation through a Case Study Analysis

• arxiv url: http://arxiv.org/abs/2505.03165v1
• Date: Tue, 06 May 2025 04:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.202362
• Title: Improving the Reproducibility of Deep Learning Software: An Initial Investigation through a Case Study Analysis
• Title（参考訳）: ディープラーニングソフトウェアの再現性向上:ケーススタディ分析による初期調査
• Authors: Nikita Ravi, Abhinav Goel, James C. Davis, George K. Thiruvathukal,
• Abstract要約: 深層学習の結果を再現することへの懸念が高まっている。 70%以上が他の実験を再現できず、50%以上が自身の実験を再現できなかった。 本稿では,ディープラーニングモデルの解析と改善のための体系的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 3.334697938650665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The field of deep learning has witnessed significant breakthroughs, spanning various applications, and fundamentally transforming current software capabilities. However, alongside these advancements, there have been increasing concerns about reproducing the results of these deep learning methods. This is significant because reproducibility is the foundation of reliability and validity in software development, particularly in the rapidly evolving domain of deep learning. The difficulty of reproducibility may arise due to several reasons, including having differences from the original execution environment, incompatible software libraries, proprietary data and source code, lack of transparency, and the stochastic nature in some software. A study conducted by the Nature journal reveals that more than 70% of researchers failed to reproduce other researchers experiments and over 50% failed to reproduce their own experiments. Irreproducibility of deep learning poses significant challenges for researchers and practitioners. To address these concerns, this paper presents a systematic approach at analyzing and improving the reproducibility of deep learning models by demonstrating these guidelines using a case study. We illustrate the patterns and anti-patterns involved with these guidelines for improving the reproducibility of deep learning models. These guidelines encompass establishing a methodology to replicate the original software environment, implementing end-to-end training and testing algorithms, disclosing architectural designs, and enhancing transparency in data processing and training pipelines. We also conduct a sensitivity analysis to understand the model performance across diverse conditions. By implementing these strategies, we aim to bridge the gap between research and practice, so that innovations in deep learning can be effectively reproduced and deployed within software.
• Abstract（参考訳）: ディープラーニングの分野は大きなブレークスルーを目の当たりにしており、様々なアプリケーションにまたがり、現在のソフトウェア能力を根本的に変える。 しかし、これらの進歩とともに、これらの深層学習手法の結果を再現することへの懸念が高まっている。 再現性はソフトウェア開発における信頼性と妥当性の基礎であり、特に急速に進化するディープラーニングの領域において重要である。 再現性の難しさは、オリジナルの実行環境、互換性のないソフトウェアライブラリ、プロプライエタリなデータとソースコード、透明性の欠如、いくつかのソフトウェアにおける確率的な性質など、いくつかの理由から生じる可能性がある。 ネイチャー誌が実施した研究によると、70%以上の研究者が他の実験を再現できず、50%以上の研究者が自身の実験を再現できなかった。 深層学習の不再現性は、研究者や実践者にとって大きな課題となる。 これらの課題に対処するため,本研究では,これらのガイドラインをケーススタディを用いて実証することにより,ディープラーニングモデルの再現性を解析・改善するための体系的なアプローチを提案する。 深層学習モデルの再現性を改善するために,これらのガイドラインにかかわるパターンとアンチパターンについて解説する。 これらのガイドラインには、オリジナルのソフトウェア環境を複製する方法論の確立、エンドツーエンドのトレーニングとテストアルゴリズムの実装、アーキテクチャ設計の開示、データ処理とトレーニングパイプラインの透明性の向上が含まれる。 また、様々な条件でモデル性能を理解するために感度解析を行う。 これらの戦略を実装することで,研究と実践のギャップを埋めることを目指して,ディープラーニングのイノベーションを効果的に再現し,ソフトウェアに展開することが可能になる。

関連論文リスト

• Reasoning Inconsistencies and How to Mitigate Them in Deep Learning [4.124590489579409]
  この論文は予測的不整合を検出し定量化する2つの技術に貢献している。 トレーニングデータのバイアスから不整合を緩和するため,本論文では,データ効率のよいサンプリング手法を提案する。 最後に、この論文は、複雑な推論タスクのためにモデルを最適化する2つのテクニックを提供する。
  論文  参考訳（メタデータ） (2025-04-03T13:40:55Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Reproducibility and Geometric Intrinsic Dimensionality: An Investigation on Graph Neural Network Research [0.0]
  これらの努力に基づいて構築することは、マシンラーニングにおけるもうひとつの重要な課題、すなわち次元の呪いに向かっています。 本研究は,機械学習モデルが学習対象のデータセットの拡張次元にどのような影響を受けているのかを,本質的な次元の密接な関連概念を用いて検討する。
  論文  参考訳（メタデータ） (2024-03-13T11:44:30Z)
• Investigating Reproducibility in Deep Learning-Based Software Fault Prediction [16.25827159504845]
  ますます複雑な機械学習モデルが急速に採用されるようになると、学者が文献で報告される結果を再現することがますます困難になる。 特に、適用されたディープラーニングモデルと評価方法論が適切に文書化されていない場合と、コードとデータが共有されていない場合である。 我々は,2019年から2022年にかけて,トップレベルのソフトウェアエンジニアリングカンファレンスにおいて,現在の文献を体系的にレビューし,56件の研究論文のレベルを検討した。
  論文  参考訳（メタデータ） (2024-02-08T13:00:18Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• An Expert's Guide to Training Physics-informed Neural Networks [5.198985210238479]
  物理インフォームドニューラルネットワーク(PINN)はディープラーニングフレームワークとして普及している。 PINNは観測データと偏微分方程式(PDE)の制約をシームレスに合成することができる。 PINNのトレーニング効率と全体的な精度を大幅に向上させる一連のベストプラクティスを提案する。
  論文  参考訳（メタデータ） (2023-08-16T16:19:25Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
  異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
  論文  参考訳（メタデータ） (2021-06-10T15:49:58Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。