論文の概要: Improving Reproducibility in Machine Learning Research (A Report from
the NeurIPS 2019 Reproducibility Program)
- arxiv url: http://arxiv.org/abs/2003.12206v4
- Date: Wed, 30 Dec 2020 21:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 04:37:05.577574
- Title: Improving Reproducibility in Machine Learning Research (A Report from
the NeurIPS 2019 Reproducibility Program)
- Title(参考訳): 機械学習研究における再現性の向上 (NeurIPS 2019 Reproducibility Programからの報告)
- Authors: Joelle Pineau, Philippe Vincent-Lamarre, Koustuv Sinha, Vincent
Larivi\`ere, Alina Beygelzimer, Florence d'Alch\'e-Buc, Emily Fox, Hugo
Larochelle
- Abstract要約: 再現性は、同じコードとデータ(利用可能であれば)を使用して、論文や講演で示された同様の結果を得る。
2019年、Neural Information Processing Systems(NeurIPS)カンファレンスは、機械学習研究の実施、コミュニケーション、評価に関するコミュニティ全体の標準を改善するために設計されたプログラムを発表した。
本稿では、これらのコンポーネントのそれぞれ、デプロイ方法、このイニシアチブから何を学んだかを説明します。
- 参考スコア(独自算出の注目度): 43.55295847227261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the challenges in machine learning research is to ensure that
presented and published results are sound and reliable. Reproducibility, that
is obtaining similar results as presented in a paper or talk, using the same
code and data (when available), is a necessary step to verify the reliability
of research findings. Reproducibility is also an important step to promote open
and accessible research, thereby allowing the scientific community to quickly
integrate new findings and convert ideas to practice. Reproducibility also
promotes the use of robust experimental workflows, which potentially reduce
unintentional errors. In 2019, the Neural Information Processing Systems
(NeurIPS) conference, the premier international conference for research in
machine learning, introduced a reproducibility program, designed to improve the
standards across the community for how we conduct, communicate, and evaluate
machine learning research. The program contained three components: a code
submission policy, a community-wide reproducibility challenge, and the
inclusion of the Machine Learning Reproducibility checklist as part of the
paper submission process. In this paper, we describe each of these components,
how it was deployed, as well as what we were able to learn from this
initiative.
- Abstract(参考訳): 機械学習研究の課題の1つは、提示された結果が健全で信頼性が高いことを保証することである。
論文や講演で示されるような結果を得る再現性は、同じコードとデータ(利用可能であれば)を使用して、研究結果の信頼性を検証するために必要なステップである。
再現性はまた、オープンでアクセスしやすい研究を促進するための重要なステップであり、科学コミュニティが新しい発見を迅速に統合し、アイデアを実践に転換することを可能にする。
再現性はまた、意図しないエラーを減らす可能性のある堅牢な実験ワークフローの使用を促進する。
2019年、ニューラル情報処理システム(NeurIPS)カンファレンスは、機械学習研究のための国際会議であり、機械学習研究の実施、コミュニケーション、評価に関するコミュニティ全体の標準を改善するために設計された再現性プログラムを導入した。
プログラムには3つのコンポーネントが含まれている: コード提出ポリシー、コミュニティ全体の再現性課題、および、ペーパー提出プロセスの一部として機械学習再現性チェックリストが含まれる。
本稿では,これら各コンポーネントについて,デプロイ方法,このイニシアティブからどのようなことを学ぶことができたか,などについて述べる。
関連論文リスト
- Reproducibility and Geometric Intrinsic Dimensionality: An Investigation
on Graph Neural Network Research [0.0]
これらの努力に基づいて構築することは、マシンラーニングにおけるもうひとつの重要な課題、すなわち次元の呪いに向かっています。
本研究は,機械学習モデルが学習対象のデータセットの拡張次元にどのような影響を受けているのかを,本質的な次元の密接な関連概念を用いて検討する。
論文 参考訳(メタデータ) (2024-03-13T11:44:30Z) - Exploring Machine Learning Models for Federated Learning: A Review of
Approaches, Performance, and Limitations [1.1060425537315088]
フェデレートラーニング(Federated Learning)は、個人のデータのプライバシを保護するために強化された分散学習フレームワークである。
危機時には、リアルタイムな意思決定が重要である場合、フェデレートされた学習は、機密データを共有せずに複数のエンティティをまとめて機能させることができる。
本稿では,ここ数年のプライバシ保護機械学習に関する文献を体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-17T19:23:21Z) - A pragmatic workflow for research software engineering in computational
science [0.0]
コンピュータサイエンス・エンジニアリング(CSE)の大学研究グループには、通常、研究ソフトウェア工学(RSE)のための専用の資金と人員が不足している。
RSEは、持続可能な研究ソフトウェア開発と再現可能な結果から焦点をシフトします。
本稿では,これらの課題に対処し,CSEにおける研究成果の質を向上させるためのRSEワークフローを提案する。
論文 参考訳(メタデータ) (2023-10-02T08:04:12Z) - The Semantic Reader Project: Augmenting Scholarly Documents through
AI-Powered Interactive Reading Interfaces [54.2590226904332]
本稿では,研究論文を対象とした動的読解インタフェースの自動作成を目的としたセマンティック・リーダー・プロジェクトについて述べる。
10のプロトタイプインターフェースが開発され、300人以上の参加者と現実世界のユーザが読書体験を改善している。
本論文は,研究論文を読む際,学者と公衆の面を巡って構築する。
論文 参考訳(メタデータ) (2023-03-25T02:47:09Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - Retrieval-Enhanced Machine Learning [110.5237983180089]
本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。
REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。
REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
論文 参考訳(メタデータ) (2022-05-02T21:42:45Z) - Machine Learning State-of-the-Art with Uncertainties [3.4123736336071864]
本研究では,精度測定に関する信頼区間が研究成果のコミュニケーションをいかに大きく向上させるかを示すために,模範的な画像分類研究を行う。
機械学習記事のオーサリングとレビューのプロセスを改善するために提案する。
論文 参考訳(メタデータ) (2022-04-11T15:06:26Z) - Flashlight: Enabling Innovation in Tools for Machine Learning [50.63188263773778]
私たちは、機械学習ツールやシステムの革新を促進するために構築されたオープンソースのライブラリであるFlashlightを紹介します。
Flashlightは、広く使われているライブラリを下流で活用し、機械学習とシステム研究者をより緊密に連携させる研究を可能にするツールだと考えています。
論文 参考訳(メタデータ) (2022-01-29T01:03:29Z) - DeepZensols: Deep Natural Language Processing Framework [23.56171046067646]
この作業は、一貫した結果を再現できるフレームワークです。
自然言語処理(NLP)ディープラーニング(DL)モデルの作成、トレーニング、評価を行う手段を提供する。
論文 参考訳(メタデータ) (2021-09-08T01:16:05Z) - BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。
特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。
単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
論文 参考訳(メタデータ) (2020-07-28T17:46:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。