論文の概要: Examining the Effect of Implementation Factors on Deep Learning Reproducibility

• arxiv url: http://arxiv.org/abs/2312.06633v1
• Date: Mon, 11 Dec 2023 18:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 14:19:56.561911
• Title: Examining the Effect of Implementation Factors on Deep Learning Reproducibility
• Title（参考訳）: Deep Learning Reproducibilityにおける実装要因の影響の検討
• Authors: Kevin Coakley, Christine R. Kirkpatrick, Odd Erik Gundersen
• Abstract要約: 3つのディープラーニング実験は、13の異なるハードウェア環境と4つの異なるソフトウェア環境でそれぞれ5回実施された。 ハードウェアやソフトウェア環境のバリエーションだけで導入されたのと同じ決定論的例では、6%以上の精度範囲があった。
• 参考スコア（独自算出の注目度）: 1.4295431367554867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reproducing published deep learning papers to validate their conclusions can be difficult due to sources of irreproducibility. We investigate the impact that implementation factors have on the results and how they affect reproducibility of deep learning studies. Three deep learning experiments were ran five times each on 13 different hardware environments and four different software environments. The analysis of the 780 combined results showed that there was a greater than 6% accuracy range on the same deterministic examples introduced from hardware or software environment variations alone. To account for these implementation factors, researchers should run their experiments multiple times in different hardware and software environments to verify their conclusions are not affected.
• Abstract（参考訳）: 出版された深層学習論文を再現してその結論を立証することは、不再現性のために困難である。 本研究では,実装要因が結果に与える影響と,それがディープラーニング研究の再現性に与える影響について検討する。 3つのディープラーニング実験が13の異なるハードウェア環境と4つの異なるソフトウェア環境でそれぞれ5回実施された。 780の合計結果の解析により、ハードウェアやソフトウェア環境のバリエーションだけで導入された同じ決定論的な例で6%以上の精度範囲が得られた。 これらの実装要因を考慮するために、研究者は異なるハードウェアとソフトウェア環境で実験を複数回実行して、結論が影響を受けていないことを確かめるべきである。

関連論文リスト

• Contexts Matter: An Empirical Study on Contextual Influence in Fairness Testing for Deep Learning Systems [3.077531983369872]
  さまざまなコンテキストが公平性テストの結果にどのように影響するかを理解することを目的としている。 私たちの結果は、異なるコンテキストタイプと設定が一般的にテストに重大な影響を与えることを示しています。
  論文  参考訳（メタデータ） (2024-08-12T12:36:06Z)
• Assessing effect sizes, variability, and power in the on-line study of language production [0.0]
  実験室とオンラインで行った同じ単語生成実験で得られた応答時間データを比較した。 実験の過程における応答の整合性において,2つの設定が効果の大きさで異なるか否かを判定する。 一連のシミュレーションにおいて,これらの違いが設計のパワーに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-03-19T11:49:03Z)
• Hazards in Deep Learning Testing: Prevalence, Impact and Recommendations [17.824339932321788]
  実験結果に有意な影響を及ぼす可能性のある10種類の経験的評価危険因子を同定した。 以上の結果から,10件のハザードが実験結果の無効化につながる可能性が示唆された。 危険を緩和する可能性を持つ10の優れた経験的実践のポイントセットを提案する。
  論文  参考訳（メタデータ） (2023-09-11T11:05:34Z)
• A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
  我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。 突発効果の非パラメトリック分解を可能にする最初の結果を証明する。 説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
  論文  参考訳（メタデータ） (2023-06-08T09:40:28Z)
• Pitfalls in Experiments with DNN4SE: An Analysis of the State of the Practice [0.7614628596146599]
  我々は、ソフトウェアエンジニアリングのプレミア会場で発行された55の論文に現れるディープニューラルネットワークに依存する技術を用いて、194の実験を行い、マッピング研究を実施します。 以上の結果から,ACMアーティファクトバッジを受信した者を含む実験の大部分が,その信頼性に疑問を呈する根本的な限界があることが判明した。
  論文  参考訳（メタデータ） (2023-05-19T09:55:48Z)
• PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
  PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。 人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
  論文  参考訳（メタデータ） (2023-01-16T10:43:02Z)
• Towards a Fair Comparison and Realistic Design and Evaluation Framework of Android Malware Detectors [63.75363908696257]
  一般的な評価フレームワークを用いて,Androidのマルウェア検出に関する10の研究成果を分析した。 データセットの作成やデザイナの設計に考慮しない場合、トレーニングされたMLモデルに大きく影響する5つの要因を特定します。 その結果,MLに基づく検出器は楽観的に評価され,良好な結果が得られた。
  論文  参考訳（メタデータ） (2022-05-25T08:28:08Z)
• Sources of Irreproducibility in Machine Learning: A Review [3.905855359082687]
  実験設計の選択と結論に対する潜在的な影響を関連付ける理論的枠組みは存在しない。 本研究の目的は、応用データサイエンスの実践者や研究者が、どのような設計選択が誤った発見につながるかを理解するためのフレームワークを開発することである。
  論文  参考訳（メタデータ） (2022-04-15T18:26:03Z)
• On Inductive Biases for Heterogeneous Treatment Effect Estimation [91.3755431537592]
  我々は、異なる治療下で、個人の潜在的成果(PO)の構造的類似性を利用する方法について検討する。 この問題を克服するために、エンドツーエンドの学習戦略を3つ比較する。
  論文  参考訳（メタデータ） (2021-06-07T16:30:46Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• Sentiment Analysis Based on Deep Learning: A Comparative Study [69.09570726777817]
  世論の研究は我々に貴重な情報を提供することができる。 感情分析の効率性と正確性は、自然言語処理で直面する課題によって妨げられている。 本稿では、感情分析の問題を解決するためにディープラーニングを用いた最新の研究をレビューする。
  論文  参考訳（メタデータ） (2020-06-05T16:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。