論文の概要: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
- arxiv url: http://arxiv.org/abs/2406.14325v2
- Date: Tue, 2 Jul 2024 15:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 06:49:41.231559
- Title: Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers
- Title（参考訳）: 機械学習研究における再現性--概観,バリア,ドライバ
- Authors: Harald Semmelrock, Tony Ross-Hellauer, Simone Kopeinik, Dieter Theiler, Armin Haberl, Stefan Thalmann, Dominik Kowald,
- Abstract要約: 様々な分野の研究は、現在結果の認識に関する課題を経験している。
この問題は、機械学習(ML)の研究でも広く用いられている。
MLによる研究のレベルは相変わらず不満足である。
- 参考スコア（独自算出の注目度）: 1.4841630983274845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research in various fields is currently experiencing challenges regarding the reproducibility of results. This problem is also prevalent in machine learning (ML) research. The issue arises, for example, due to unpublished data and/or source code and the sensitivity of ML training conditions. Although different solutions have been proposed to address this issue, such as using ML platforms, the level of reproducibility in ML-driven research remains unsatisfactory. Therefore, in this article, we discuss the reproducibility of ML-driven research with three main aims: (i) identifying the barriers to reproducibility when applying ML in research as well as categorize the barriers to different types of reproducibility (description, code, data, and experiment reproducibility), (ii) discussing potential drivers such as tools, practices, and interventions that support ML reproducibility, as well as distinguish between technology-driven drivers, procedural drivers, and drivers related to awareness and education, and (iii) mapping the drivers to the barriers. With this work, we hope to provide insights and to contribute to the decision-making process regarding the adoption of different solutions to support ML reproducibility.
- Abstract（参考訳）: 様々な分野の研究は、現在、成果の再現性に関する課題を経験している。
この問題は、機械学習(ML)の研究でも広く用いられている。
この問題は、例えば、未発表のデータや/またはソースコードとMLトレーニング条件の感度が原因である。
MLプラットフォームの使用など、この問題に対処するためのさまざまなソリューションが提案されているが、ML主導の研究における再現性のレベルは相変わらず不満足である。
そこで本稿では,ML駆動型研究の再現性について,主に3つの目的について論じる。
一 研究にMLを適用したときの再現性に関する障壁を特定し、異なる種類の再現性(説明、コード、データ及び実験再現性)の障壁を分類すること。
(二)ML再現性を支えるツール、プラクティス、介入等の潜在的なドライバについて議論し、技術主導のドライバ、手続き的なドライバ、および認識と教育に関連するドライバーを区別すること。
3) ドライバをバリアにマッピングする。
本研究は,ML再現性を支援するためのさまざまなソリューションの採用について,洞察を提供し,意思決定プロセスに貢献することを期待している。
関連論文リスト
- Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
大規模言語モデル(LLM)は、その実践的応用でますます認識されている。
Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。
中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
論文 参考訳（メタデータ） (2024-11-09T15:12:28Z) - Maintainability Challenges in ML: A Systematic Literature Review [5.669063174637433]
本研究の目的は,機械学習ワークフローのさまざまな段階における保守性課題を特定し,合成することである。
13,000件以上の論文を審査し、56件を質的に分析した。
論文 参考訳（メタデータ） (2024-08-17T13:24:15Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - Reproducibility in Machine Learning-Driven Research [1.7936835766396748]
研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。
機械学習(ML)と人工知能(AI)の研究においても、これは同じである。
MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
論文 参考訳（メタデータ） (2023-07-19T07:00:22Z) - A Review of Machine Learning Methods Applied to Structural Dynamics and
Vibroacoustic [0.0]
Vibroacoustic(SD&V)の主要な3つのアプリケーションが機械学習(ML)を活用している。
構造的健康モニタリングでは、ML検出と予後が安全な操作とメンテナンススケジュールの最適化につながる。
システムの識別と制御設計は、アクティブノイズ制御およびアクティブ振動制御におけるML技術によって活用される。
いわゆるMLベースのサロゲートモデルは、コストのかかるシミュレーションに代わる高速な代替手段を提供し、堅牢で最適化された製品設計を可能にする。
論文 参考訳（メタデータ） (2022-04-13T13:16:21Z) - The challenge of reproducible ML: an empirical study on the impact of
bugs [6.862925771672299]
本稿では,機械学習システムにおける非決定性の原因となる基本的要因について述べる。
次にReproduceMLというフレームワークを導入し,実環境におけるML実験の決定論的評価を行う。
本研究では、人気のあるMLフレームワークであるPyTorchにおけるバグ発生が、トレーニングされたモデルの性能に与える影響を定量化する。
論文 参考訳（メタデータ） (2021-09-09T01:36:39Z) - Panoramic Learning with A Standardized Machine Learning Formalism [116.34627789412102]
本稿では,多様なMLアルゴリズムの統一的な理解を提供する学習目的の標準化された方程式を提案する。
また、新しいMLソリューションのメカニック設計のガイダンスも提供し、すべての経験を持つパノラマ学習に向けた有望な手段として機能する。
論文 参考訳（メタデータ） (2021-08-17T17:44:38Z) - Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。
一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。
我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
論文 参考訳（メタデータ） (2021-06-09T05:56:42Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳（メタデータ） (2021-04-29T09:54:54Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - Machine Learning Towards Intelligent Systems: Applications, Challenges,
and Opportunities [8.68311678910946]
機械学習(ML)は、人間が大量のデータを処理するためのメカニズムを提供する。
このレビューは教育、医療、ネットワークセキュリティ、銀行と金融、ソーシャルメディアといった分野と応用に焦点を当てている。
論文 参考訳（メタデータ） (2021-01-11T01:32:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。