論文の概要: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
- arxiv url: http://arxiv.org/abs/2406.14325v3
- Date: Wed, 26 Feb 2025 11:34:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-27 14:55:10.359713
- Title: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
- Title（参考訳）: 機械学習研究における再現性--概観,バリア,ドライバ
- Authors: Harald Semmelrock, Tony Ross-Hellauer, Simone Kopeinik, Dieter Theiler, Armin Haberl, Stefan Thalmann, Dominik Kowald,
- Abstract要約: 透明性の欠如、データまたはコードの欠如、標準への順守の欠如、MLトレーニングの敏感さは、原則として多くの論文が再現不可能であることを意味する。
実験では、オリジナルの結果と非常に類似性が低いことが判明した。
粗悪な完全性は研究結果の信頼と完全性を脅かす。
- 参考スコア（独自算出の注目度）: 1.4841630983274845
- License:
- Abstract: Many research fields are currently reckoning with issues of poor levels of reproducibility. Some label it a "crisis", and research employing or building Machine Learning (ML) models is no exception. Issues including lack of transparency, data or code, poor adherence to standards, and the sensitivity of ML training conditions mean that many papers are not even reproducible in principle. Where they are, though, reproducibility experiments have found worryingly low degrees of similarity with original results. Despite previous appeals from ML researchers on this topic and various initiatives from conference reproducibility tracks to the ACM's new Emerging Interest Group on Reproducibility and Replicability, we contend that the general community continues to take this issue too lightly. Poor reproducibility threatens trust in and integrity of research results. Therefore, in this article, we lay out a new perspective on the key barriers and drivers (both procedural and technical) to increased reproducibility at various levels (methods, code, data, and experiments). We then map the drivers to the barriers to give concrete advice for strategies for researchers to mitigate reproducibility issues in their own work, to lay out key areas where further research is needed in specific areas, and to further ignite discussion on the threat presented by these urgent issues.
- Abstract（参考訳）: 現在、多くの研究分野は再現性の低い問題に言及している。
機械学習(ML)モデルを採用したり構築したりする研究は例外ではない。
透明性の欠如、データまたはコードの欠如、標準への順守の欠如、MLトレーニング条件の敏感さなど、多くの論文が原則として再現不可能である。
しかし、再現性の実験では、オリジナルの結果と非常に類似性が低いことがわかりました。
ML研究者のこの話題に対する以前のアピールや、カンファレンス再現性トラックから、ACMの新しい再現性と再現性に関する新興利益グループまで、様々な取り組みにもかかわらず、一般コミュニティがこの問題を軽視し続けていると我々は主張する。
粗悪な再現性は研究結果の信頼と完全性を脅かす。
そこで本稿では,様々なレベル(メソッド,コード,データ,実験)において再現性を高めるための重要な障壁とドライバ(手続き的および技術的)について,新たな視点を定めます。
次に、ドライバをバリアにマッピングし、研究者が自身の作業において再現性の問題を軽減するための具体的なアドバイスを与え、特定の領域でさらなる研究が必要な重要な領域を配置し、これらの緊急問題によって引き起こされる脅威についてさらに議論する。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。
13,000件以上の論文を審査し、56件を質的に分析した。
論文 参考訳（メタデータ） (2024-08-17T13:24:15Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。
機械学習(ML)と人工知能(AI)の研究においても、これは同じである。
MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
論文 参考訳（メタデータ） (2023-07-19T07:00:22Z) - A Review of Machine Learning Methods Applied to Structural Dynamics and
Vibroacoustic [0.0]
Vibroacoustic(SD&V)の主要な3つのアプリケーションが機械学習(ML)を活用している。
構造的健康モニタリングでは、ML検出と予後が安全な操作とメンテナンススケジュールの最適化につながる。
システムの識別と制御設計は、アクティブノイズ制御およびアクティブ振動制御におけるML技術によって活用される。
いわゆるMLベースのサロゲートモデルは、コストのかかるシミュレーションに代わる高速な代替手段を提供し、堅牢で最適化された製品設計を可能にする。
論文 参考訳（メタデータ） (2022-04-13T13:16:21Z) - The challenge of reproducible ML: an empirical study on the impact of
bugs [6.862925771672299]
本稿では,機械学習システムにおける非決定性の原因となる基本的要因について述べる。
次にReproduceMLというフレームワークを導入し,実環境におけるML実験の決定論的評価を行う。
本研究では、人気のあるMLフレームワークであるPyTorchにおけるバグ発生が、トレーニングされたモデルの性能に与える影響を定量化する。
論文 参考訳（メタデータ） (2021-09-09T01:36:39Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳（メタデータ） (2021-06-09T05:56:42Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳（メタデータ） (2021-04-29T09:54:54Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - Machine Learning Towards Intelligent Systems: Applications, Challenges,
and Opportunities [8.68311678910946]
機械学習(ML)は、人間が大量のデータを処理するためのメカニズムを提供する。
このレビューは教育、医療、ネットワークセキュリティ、銀行と金融、ソーシャルメディアといった分野と応用に焦点を当てている。
論文 参考訳（メタデータ） (2021-01-11T01:32:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。