論文の概要: Position: More Rigorous Software Engineering Would Improve Reproducibility in Machine Learning Research
- arxiv url: http://arxiv.org/abs/2502.00902v1
- Date: Sun, 02 Feb 2025 20:29:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:05:02.129530
- Title: Position: More Rigorous Software Engineering Would Improve Reproducibility in Machine Learning Research
- Title(参考訳): ポジション: より厳格なソフトウェア工学が機械学習研究の再現性を改善する
- Authors: Moritz Wolter, Lokesh Veeramacheneni,
- Abstract要約: 学術作品の実験的検証と偽造は、科学的手法のコアの一部となっている。
機械学習(ML)コミュニティの事前作業の結果を検証する能力を改善するため、より堅牢なソフトウェアエンジニアリングを議論する。
- 参考スコア(独自算出の注目度): 1.0128808054306186
- License:
- Abstract: Experimental verification and falsification of scholarly work are part of the scientific method's core. To improve the Machine Learning (ML)-communities' ability to verify results from prior work, we argue for more robust software engineering. We estimate the adoption of common engineering best practices by examining repository links from all recently accepted International Conference on Machine Learning (ICML), International Conference on Learning Representations (ICLR) and Neural Information Processing Systems (NeurIPS) papers as well as ICML papers over time. Based on the results, we recommend how we, as a community, can improve reproducibility in ML-research.
- Abstract(参考訳): 学術作品の実験的検証と偽造は、科学的手法のコアの一部となっている。
機械学習(ML)コミュニティの事前作業の結果を検証する能力を改善するため、より堅牢なソフトウェアエンジニアリングを議論する。
我々は最近受理されたICML(International Conference on Machine Learning)、ICLR(International Conference on Learning Representations)、NeurIPS(NeurIPS)、ICML(NeurIPS)、およびICML(NeurIPS)のすべての論文のリポジトリリンクを調べることで、一般的なエンジニアリングベストプラクティスの採用を見積もる。
この結果に基づき,コミュニティとして,ML-Researchにおける再現性をいかに改善できるかを推奨する。
関連論文リスト
- Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳(メタデータ) (2024-07-17T20:01:21Z) - A Software Engineering Perspective on Testing Large Language Models: Research, Practice, Tools and Benchmarks [2.8061460833143346]
大規模言語モデル(LLM)は、スタンドアロンツールとしても、現在および将来のソフトウェアシステムのコンポーネントとしても、急速に普及しています。
LLMを2030年のハイテイクシステムや安全クリティカルシステムで使用するためには、厳格なテストを実施する必要がある。
論文 参考訳(メタデータ) (2024-06-12T13:45:45Z) - Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
機械学習(ML)対応システムは、企業によってますます採用されている。
本稿では,ML対応システムの現状を概観する。
論文 参考訳(メタデータ) (2024-05-20T06:59:20Z) - Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。
LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。
各種コードライブラリの推論性能の粗大な解析を行う。
論文 参考訳(メタデータ) (2024-04-17T15:57:50Z) - Machine Learning State-of-the-Art with Uncertainties [3.4123736336071864]
本研究では,精度測定に関する信頼区間が研究成果のコミュニケーションをいかに大きく向上させるかを示すために,模範的な画像分類研究を行う。
機械学習記事のオーサリングとレビューのプロセスを改善するために提案する。
論文 参考訳(メタデータ) (2022-04-11T15:06:26Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳(メタデータ) (2021-01-11T15:54:48Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-21T17:14:34Z) - Machine Learning for Software Engineering: A Systematic Mapping [73.30245214374027]
ソフトウェア開発業界は、現代のソフトウェアシステムを高度にインテリジェントで自己学習システムに移行するために、機械学習を急速に採用している。
ソフトウェアエンジニアリングライフサイクルの段階にわたって機械学習の採用について、現状を探求する包括的な研究は存在しない。
本研究は,機械学習によるソフトウェア工学(MLSE)分類を,ソフトウェア工学ライフサイクルのさまざまな段階に適用性に応じて,最先端の機械学習技術に分類するものである。
論文 参考訳(メタデータ) (2020-05-27T11:56:56Z) - Improving Reproducibility in Machine Learning Research (A Report from
the NeurIPS 2019 Reproducibility Program) [43.55295847227261]
再現性は、同じコードとデータ(利用可能であれば)を使用して、論文や講演で示された同様の結果を得る。
2019年、Neural Information Processing Systems(NeurIPS)カンファレンスは、機械学習研究の実施、コミュニケーション、評価に関するコミュニティ全体の標準を改善するために設計されたプログラムを発表した。
本稿では、これらのコンポーネントのそれぞれ、デプロイ方法、このイニシアチブから何を学んだかを説明します。
論文 参考訳(メタデータ) (2020-03-27T02:16:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。