論文の概要: Reproducibility in Machine Learning-Driven Research
- arxiv url: http://arxiv.org/abs/2307.10320v1
- Date: Wed, 19 Jul 2023 07:00:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 16:07:47.779850
- Title: Reproducibility in Machine Learning-Driven Research
- Title（参考訳）: 機械学習駆動研究における再現性
- Authors: Harald Semmelrock and Simone Kopeinik and Dieter Theiler and Tony
Ross-Hellauer and Dominik Kowald
- Abstract要約: 研究は生存可能性の危機に直面しており、多くの研究の結果や発見は、再現することが困難または不可能である。
機械学習(ML)と人工知能(AI)の研究においても、これは同じである。
MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究のレベルは大幅に上昇していない。
- 参考スコア（独自算出の注目度）: 1.7936835766396748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research is facing a reproducibility crisis, in which the results and
findings of many studies are difficult or even impossible to reproduce. This is
also the case in machine learning (ML) and artificial intelligence (AI)
research. Often, this is the case due to unpublished data and/or source-code,
and due to sensitivity to ML training conditions. Although different solutions
to address this issue are discussed in the research community such as using ML
platforms, the level of reproducibility in ML-driven research is not increasing
substantially. Therefore, in this mini survey, we review the literature on
reproducibility in ML-driven research with three main aims: (i) reflect on the
current situation of ML reproducibility in various research fields, (ii)
identify reproducibility issues and barriers that exist in these research
fields applying ML, and (iii) identify potential drivers such as tools,
practices, and interventions that support ML reproducibility. With this, we
hope to contribute to decisions on the viability of different solutions for
supporting ML reproducibility.
- Abstract（参考訳）: 研究は再現性危機に直面しており、多くの研究の結果や発見は再現が困難あるいは不可能である。
機械学習(ML)と人工知能(AI)の研究においても、これは同じである。
多くの場合、これは未発表のデータや/またはソースコードによるものであり、MLトレーニング条件に対する感度によるものである。
MLプラットフォームの使用などの研究コミュニティでは,この問題に対処するさまざまなソリューションが議論されているが,MLによる研究における再現性のレベルはそれほど大きくない。
そこで本研究では,ml駆動研究における再現性に関する文献を3つの目的から検討する。
一 各種研究分野におけるML再現性の現状を反映する。
(ii)mlを適用したこれらの研究分野に存在する再現可能性の問題と障壁を特定する
(iii)ml再現性をサポートするツール、プラクティス、介入といった潜在的なドライバを特定する。
これにより、ML再現性をサポートするさまざまなソリューションの実現可能性に関する決定に貢献することを期待します。
関連論文リスト
- Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳（メタデータ） (2024-07-17T20:01:21Z) - Reproducibility in Machine Learning-based Research: Overview, Barriers and Drivers [1.4841630983274845]
様々な分野の研究は、現在結果の認識に関する課題を経験している。
この問題は、機械学習(ML)の研究でも広く用いられている。
MLによる研究のレベルは相変わらず不満足である。
論文 参考訳（メタデータ） (2024-06-20T13:56:42Z) - MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。
実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
論文 参考訳（メタデータ） (2024-02-21T14:22:20Z) - Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。
この制限に寄与できる4つの独立した要因を特定します。
オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
論文 参考訳（メタデータ） (2024-02-12T03:04:42Z) - Causal machine learning for single-cell genomics [94.28105176231739]
単細胞ゲノミクスへの機械学習技術の応用とその課題について論じる。
まず, 単一細胞生物学における現在の因果的アプローチの基盤となるモデルについて述べる。
次に、単一セルデータへの因果的アプローチの適用におけるオープンな問題を特定する。
論文 参考訳（メタデータ） (2023-10-23T13:35:24Z) - Lost in Translation: Reimagining the Machine Learning Life Cycle in
Education [12.802237736747077]
機械学習(ML)技術は、教育においてますます普及している。
ML技術が長年の教育原則と目標をどのように支えているかを調べる必要がある。
本研究では,教育専門家へのインタビューから得られた質的な洞察をもとに,この複雑な景観を考察した。
論文 参考訳（メタデータ） (2022-09-08T17:14:01Z) - REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine
Learning Research [19.71032778307425]
制限に関する透明性は、研究の厳格さを改善し、研究結果の適切な解釈を確実にし、研究の主張をより信頼できるものにするのに役立つ。
これらの利点にもかかわらず、機械学習(ML)研究コミュニティは、制限の開示と議論に関して、十分に発達した規範を欠いている。
機械学習の研究者が研究の限界を認識し、探索し、明確化するのに役立つ一連のガイド付きアクティビティであるREAL MLを開発するために、30人のMLおよびML隣接研究者による反復的な設計プロセスを実行します。
論文 参考訳（メタデータ） (2022-05-05T15:32:45Z) - The challenge of reproducible ML: an empirical study on the impact of
bugs [6.862925771672299]
本稿では,機械学習システムにおける非決定性の原因となる基本的要因について述べる。
次にReproduceMLというフレームワークを導入し,実環境におけるML実験の決定論的評価を行う。
本研究では、人気のあるMLフレームワークであるPyTorchにおけるバグ発生が、トレーニングされたモデルの性能に与える影響を定量化する。
論文 参考訳（メタデータ） (2021-09-09T01:36:39Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳（メタデータ） (2021-03-02T22:50:45Z) - Machine Learning Towards Intelligent Systems: Applications, Challenges,
and Opportunities [8.68311678910946]
機械学習(ML)は、人間が大量のデータを処理するためのメカニズムを提供する。
このレビューは教育、医療、ネットワークセキュリティ、銀行と金融、ソーシャルメディアといった分野と応用に焦点を当てている。
論文 参考訳（メタデータ） (2021-01-11T01:32:15Z) - Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。
ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。
提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
論文 参考訳（メタデータ） (2020-08-05T15:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。