論文の概要: Position: More Rigorous Software Engineering Would Improve Reproducibility in Machine Learning Research

• arxiv url: http://arxiv.org/abs/2502.00902v1
• Date: Sun, 02 Feb 2025 20:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:21:54.290119
• Title: Position: More Rigorous Software Engineering Would Improve Reproducibility in Machine Learning Research
• Title（参考訳）: ポジション: より厳格なソフトウェア工学が機械学習研究の再現性を改善する
• Authors: Moritz Wolter, Lokesh Veeramacheneni,
• Abstract要約: 学術作品の実験的検証と偽造は、科学的手法のコアの一部となっている。 機械学習(ML)コミュニティの事前作業の結果を検証する能力を改善するため、より堅牢なソフトウェアエンジニアリングを議論する。
• 参考スコア（独自算出の注目度）: 1.0128808054306186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Experimental verification and falsification of scholarly work are part of the scientific method's core. To improve the Machine Learning (ML)-communities' ability to verify results from prior work, we argue for more robust software engineering. We estimate the adoption of common engineering best practices by examining repository links from all recently accepted International Conference on Machine Learning (ICML), International Conference on Learning Representations (ICLR) and Neural Information Processing Systems (NeurIPS) papers as well as ICML papers over time. Based on the results, we recommend how we, as a community, can improve reproducibility in ML-research.
• Abstract（参考訳）: 学術作品の実験的検証と偽造は、科学的手法のコアの一部となっている。 機械学習(ML)コミュニティの事前作業の結果を検証する能力を改善するため、より堅牢なソフトウェアエンジニアリングを議論する。 我々は最近受理されたICML(International Conference on Machine Learning)、ICLR(International Conference on Learning Representations)、NeurIPS(NeurIPS)、ICML(NeurIPS)、およびICML(NeurIPS)のすべての論文のリポジトリリンクを調べることで、一般的なエンジニアリングベストプラクティスの採用を見積もる。 この結果に基づき,コミュニティとして,ML-Researchにおける再現性をいかに改善できるかを推奨する。

関連論文リスト

• MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [66.87201770167012]
  MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。 MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。 最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
  論文  参考訳（メタデータ） (2025-04-13T19:35:43Z)
• Perspective of Software Engineering Researchers on Machine Learning Practices Regarding Research, Review, and Education [12.716955305620191]
  本研究は、機械学習(ML)とソフトウェア工学(SE)の相乗効果に関する知識への貢献を目的とする。 ML に精通した SE 研究者,あるいは ML を用いた SE 記事の執筆者,および記事自体を分析した。 データ収集、モデルトレーニング、評価に重点を置くさまざまなプラクティスを見つけました。
  論文  参考訳（メタデータ） (2024-11-28T18:21:24Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• A Software Engineering Perspective on Testing Large Language Models: Research, Practice, Tools and Benchmarks [2.8061460833143346]
  大規模言語モデル(LLM)は、スタンドアロンツールとしても、現在および将来のソフトウェアシステムのコンポーネントとしても、急速に普及しています。 LLMを2030年のハイテイクシステムや安全クリティカルシステムで使用するためには、厳格なテストを実施する必要がある。
  論文  参考訳（メタデータ） (2024-06-12T13:45:45Z)
• Naming the Pain in Machine Learning-Enabled Systems Engineering [8.092979562919878]
  機械学習(ML)対応システムは、企業によってますます採用されている。 本稿では,ML対応システムの現状を概観する。
  論文  参考訳（メタデータ） (2024-05-20T06:59:20Z)
• Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
  大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。 LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。 各種コードライブラリの推論性能の粗大な解析を行う。
  論文  参考訳（メタデータ） (2024-04-17T15:57:50Z)
• Wildest Dreams: Reproducible Research in Privacy-preserving Neural Network Training [2.853180143237022]
  この作業は、ユーザデータのプライバシを維持することが最も重要であるMLモデルのトレーニングフェーズに重点を置いている。 我々は、現在のアプローチの理解を容易にする、しっかりとした理論的背景を提供する。 我々は,いくつかの論文の成果を再現し,その分野における既存の研究がオープンサイエンスを支援するレベルについて検討する。
  論文  参考訳（メタデータ） (2024-03-06T10:25:36Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• Using Machine Learning To Identify Software Weaknesses From Software Requirement Specifications [49.1574468325115]
  本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。 ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
  論文  参考訳（メタデータ） (2023-08-10T13:19:10Z)
• Towards machine learning guided by best practices [0.0]
  機械学習(ML)は、医学からソフトウェア工学(SE)まで、複数の応用分野を持つソフトウェアシステムで使われている。 この論文は、SEコミュニティの実践者や研究者が使用し議論するプラクティスを理解するのに役立つ研究の質問に答えることを目的としている。
  論文  参考訳（メタデータ） (2023-04-29T10:58:37Z)
• Machine Learning for Software Engineering: A Tertiary Study [13.832268599253412]
  機械学習(ML)技術は、ソフトウェアエンジニアリング(SE)ライフサイクルアクティビティの有効性を高める。 2009～2022年に発行されたML for SEで, 体系的, 品質評価, 要約, 分類を行い, 初等研究6,117件について検討した。 MLに最も取り組まれているSE領域は、ソフトウェアの品質とテストである。
  論文  参考訳（メタデータ） (2022-11-17T09:19:53Z)
• Machine Learning State-of-the-Art with Uncertainties [3.4123736336071864]
  本研究では,精度測定に関する信頼区間が研究成果のコミュニケーションをいかに大きく向上させるかを示すために,模範的な画像分類研究を行う。 機械学習記事のオーサリングとレビューのプロセスを改善するために提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:06:26Z)
• Machine Learning Application Development: Practitioners' Insights [18.114724750441724]
  MLアプリケーション開発の課題とベストプラクティスを理解することを目的とした調査について報告する。 80人の実践者から得られた結果を17の発見にまとめ、MLアプリケーション開発の課題とベストプラクティスを概説する。 報告された課題が、MLベースのアプリケーションのエンジニアリングプロセスと品質を改善するために調査すべきトピックについて、研究コミュニティに知らせてくれることを期待しています。
  論文  参考訳（メタデータ） (2021-12-31T03:38:37Z)
• Practical Machine Learning Safety: A Survey and Primer [81.73857913779534]
  自動運転車のような安全クリティカルなアプリケーションにおける機械学習アルゴリズムのオープンワールド展開は、さまざまなML脆弱性に対処する必要がある。 一般化エラーを低減し、ドメイン適応を実現し、外乱例や敵攻撃を検出するための新しいモデルと訓練技術。 我々の組織は、MLアルゴリズムの信頼性を異なる側面から向上するために、最先端のML技術を安全戦略にマッピングする。
  論文  参考訳（メタデータ） (2021-06-09T05:56:42Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
  機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。 私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。 当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
  論文  参考訳（メタデータ） (2021-01-11T15:54:48Z)
• Technology Readiness Levels for AI & ML [79.22051549519989]
  機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。 エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。 我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-21T17:14:34Z)
• Machine Learning for Software Engineering: A Systematic Mapping [73.30245214374027]
  ソフトウェア開発業界は、現代のソフトウェアシステムを高度にインテリジェントで自己学習システムに移行するために、機械学習を急速に採用している。 ソフトウェアエンジニアリングライフサイクルの段階にわたって機械学習の採用について、現状を探求する包括的な研究は存在しない。 本研究は,機械学習によるソフトウェア工学(MLSE)分類を,ソフトウェア工学ライフサイクルのさまざまな段階に適用性に応じて,最先端の機械学習技術に分類するものである。
  論文  参考訳（メタデータ） (2020-05-27T11:56:56Z)
• Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program) [43.55295847227261]
  再現性は、同じコードとデータ(利用可能であれば)を使用して、論文や講演で示された同様の結果を得る。 2019年、Neural Information Processing Systems(NeurIPS)カンファレンスは、機械学習研究の実施、コミュニケーション、評価に関するコミュニティ全体の標準を改善するために設計されたプログラムを発表した。 本稿では、これらのコンポーネントのそれぞれ、デプロイ方法、このイニシアチブから何を学んだかを説明します。
  論文  参考訳（メタデータ） (2020-03-27T02:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。