論文の概要: On the Replicability and Reproducibility of Deep Learning in Software Engineering

• arxiv url: http://arxiv.org/abs/2006.14244v1
• Date: Thu, 25 Jun 2020 08:20:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 04:32:48.631122
• Title: On the Replicability and Reproducibility of Deep Learning in Software Engineering
• Title（参考訳）: ソフトウェア工学におけるディープラーニングの再現性と再現性について
• Authors: Chao Liu, Cuiyun Gao, Xin Xia, David Lo, John Grundy, Xiaohu Yang
• Abstract要約: 近年,ディープラーニング(DL)技術は,ソフトウェア工学(SE)研究者の間で大きな人気を集めている。 多くのDL研究は、他の最先端モデルに対する有効性に対する大きな利点を報告している。 再現性 - 報告された実験結果が、同じDLモデルと同一データで概ね高い確率で再現できるかどうか、そして、報告された実験結果が、同じ実験プロトコルとDLモデルで新しい実験によって再現できるかどうか、そして異なる実世界のデータで再現できるかどうか、という2つの要因をしばしば無視する。
• 参考スコア（独自算出の注目度）: 16.828220584270507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning (DL) techniques have gained significant popularity among software engineering (SE) researchers in recent years. This is because they can often solve many SE challenges without enormous manual feature engineering effort and complex domain knowledge. Although many DL studies have reported substantial advantages over other state-of-the-art models on effectiveness, they often ignore two factors: (1) replicability - whether the reported experimental result can be approximately reproduced in high probability with the same DL model and the same data; and (2) reproducibility - whether one reported experimental findings can be reproduced by new experiments with the same experimental protocol and DL model, but different sampled real-world data. Unlike traditional machine learning (ML) models, DL studies commonly overlook these two factors and declare them as minor threats or leave them for future work. This is mainly due to high model complexity with many manually set parameters and the time-consuming optimization process. In this study, we conducted a literature review on 93 DL studies recently published in twenty SE journals or conferences. Our statistics show the urgency of investigating these two factors in SE. Moreover, we re-ran four representative DL models in SE. Experimental results show the importance of replicability and reproducibility, where the reported performance of a DL model could not be replicated for an unstable optimization process. Reproducibility could be substantially compromised if the model training is not convergent, or if performance is sensitive to the size of vocabulary and testing data. It is therefore urgent for the SE community to provide a long-lasting link to a replication package, enhance DL-based solution stability and convergence, and avoid performance sensitivity on different sampled data.
• Abstract（参考訳）: 近年,ディープラーニング(DL)技術は,ソフトウェア工学(SE)研究者の間で大きな人気を集めている。 これは、非常に手作業による機能エンジニアリングや複雑なドメイン知識なしに、多くのSEの課題を解決できるためです。 多くのdl研究は、実効性に関する他の最先端モデルよりも大きな利点を報告しているが、彼らはしばしば2つの要因を無視している: (1) 再現性 - 報告された実験結果が同一のdlモデルと同一のデータでほぼ確率的に再現できるか、(2) 再現性 - 報告された実験結果が同じ実験プロトコルとdlモデルで新しい実験によって再現できるか しかし、異なるサンプルされた実世界のデータによって再現できるか。 従来の機械学習(ML)モデルとは異なり、DL研究は一般的にこれらの2つの要因を軽視し、それらを小さな脅威として宣言するか、将来の作業に残す。 これは主に、多くの手動設定パラメータと時間消費最適化プロセスを伴う高いモデルの複雑さによるものである。 本研究は、最近、20のSEジャーナルや会議に掲載された93のDL研究に関する文献レビューを行った。 我々の統計は、SEにおけるこれらの2つの要因を調査する緊急性を示している。 さらに,SE における 4 つの代表型 DL モデルを再検討する。 実験の結果,不安定な最適化プロセスにおいて,DLモデルの性能を再現できない再現性と再現性の重要性が示された。 モデルのトレーニングが収束しない場合や、語彙やテストデータのサイズに敏感な場合、再現性は実質的に損なわれる可能性がある。 そのためseコミュニティは、レプリケーションパッケージへの長期のリンクを提供し、dlベースのソリューションの安定性と収束を高め、異なるサンプルデータのパフォーマンスの感度を回避すべきである。

関連論文リスト

• Self-Supervised Learning for Time Series: A Review & Critique of FITS [0.0]
  最近提案されたモデルFITSは、パラメータ数を大幅に削減した競合性能を主張する。 複雑な周波数領域で1層ニューラルネットワークをトレーニングすることで、これらの結果を再現することができる。 実験の結果,FITSは特に周期パターンや季節パターンの捕集に優れるが,トレンド,非周期的,ランダムな組立行動に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T23:03:09Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [61.64685376882383]
  ランク付け学習(CLTR: Counterfactual Learning to rank)は、IRコミュニティにおいて、ログ化された大量のユーザインタラクションデータを活用してランキングモデルをトレーニングする能力において、大きな注目を集めている。 本稿では,複雑かつ多様な状況における既存のCLTRモデルのロバスト性について検討する。 その結果, DLAモデルとIPS-DCMは, PS-PBMやPSSよりも, オフラインの確率推定による堅牢性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• Towards Training Reproducible Deep Learning Models [26.547756923322126]
  ディープラーニング(DL)モデルは、ソフトウェアにおけるランダム性やハードウェアにおける非決定性といった問題により、再現が困難である。 本稿では,再現可能なDLモデルを学習するための体系的なアプローチを提案する。 ケーススタディでは,6つのオープンソースと1つの商用DLモデルを再現することができた。
  論文  参考訳（メタデータ） (2022-02-04T18:14:39Z)
• Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
  そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。 提案手法の有効性を検証し,数値実験による理論的研究を検証する。
  論文  参考訳（メタデータ） (2022-01-26T22:26:01Z)
• Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
  現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる) 単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。 モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-02-21T21:51:28Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)
• A Close Look at Deep Learning with Small Data [0.0]
  モデル複雑性は、クラス毎に数個のサンプルしか利用できない場合に重要な要素であることを示す。 また、標準的なデータ拡張であっても、認識性能を大きなマージンで向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-28T17:11:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。