論文の概要: Sources of Irreproducibility in Machine Learning: A Review
- arxiv url: http://arxiv.org/abs/2204.07610v1
- Date: Fri, 15 Apr 2022 18:26:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-21 07:06:06.199985
- Title: Sources of Irreproducibility in Machine Learning: A Review
- Title(参考訳): 機械学習における不再現性の源: レビュー
- Authors: Odd Erik Gundersen, Kevin Coakley and Christine Kirkpatrick
- Abstract要約: いくつかのベンチマーク研究により、機械学習のサブフィールドの一部における技術の現状は、文献で報告されているにもかかわらず、実際には進歩していないことが示されている。
進歩の欠如は、多くのモデル比較研究の不再現性によってもたらされる。
- 参考スコア(独自算出の注目度): 2.0883760606514934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lately, several benchmark studies have shown that the state of the art in
some of the sub-fields of machine learning actually has not progressed despite
progress being reported in the literature. The lack of progress is partly
caused by the irreproducibility of many model comparison studies. Model
comparison studies are conducted that do not control for many known sources of
irreproducibility. This leads to results that cannot be verified by third
parties. Our objective is to provide an overview of the sources of
irreproducibility that are reported in the literature. We review the literature
to provide an overview and a taxonomy in addition to a discussion on the
identified sources of irreproducibility. Finally, we identify three lines of
further inquiry.
- Abstract(参考訳): 近年、いくつかのベンチマーク研究により、機械学習のサブ分野における最先端の技術は、文献で報告されているにもかかわらず、実際には進歩していないことが示されている。
進歩の欠如は、多くのモデル比較研究の不再現性に起因する。
モデル比較研究は、多くの既知の非生産性の源を制御しない。
これは第三者によって検証できない結果につながる。
本稿の目的は,文献で報告されている不再現性源の概観を提供することである。
本稿では,本文献を概説し,不再現性の特定源に関する議論に加えて,その概要と分類について概説する。
最後に、さらなる調査の3つの行を特定する。
関連論文リスト
- CausalGym: Benchmarking causal interpretability methods on linguistic
tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。
ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。
DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文 参考訳(メタデータ) (2024-02-19T21:35:56Z) - Examining the Effect of Implementation Factors on Deep Learning
Reproducibility [1.4295431367554867]
3つのディープラーニング実験は、13の異なるハードウェア環境と4つの異なるソフトウェア環境でそれぞれ5回実施された。
ハードウェアやソフトウェア環境のバリエーションだけで導入されたのと同じ決定論的例では、6%以上の精度範囲があった。
論文 参考訳(メタデータ) (2023-12-11T18:51:13Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳(メタデータ) (2023-06-08T09:40:28Z) - PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。
人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
論文 参考訳(メタデータ) (2023-01-16T10:43:02Z) - Testing Causality in Scientific Modelling Software [0.26388783516590225]
Causal Testing Frameworkは、Causal Inferenceテクニックを使用して、既存のデータから因果効果を確立するフレームワークである。
実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkがいかにメタモルフィックテストの結果を推測できるかを示す。
論文 参考訳(メタデータ) (2022-09-01T10:57:54Z) - On the Importance of Application-Grounded Experimental Design for
Evaluating Explainable ML Methods [20.2027063607352]
本稿では,事前説明可能なML評価実験を拡張し,設定を配置設定に近づける実験を行った。
私たちの経験的研究は、以前の研究と劇的に異なる結論を導き、一見自明な実験的な設計選択が、いかに誤解を招く結果をもたらすかを浮き彫りにしています。
この研究は、任意のMLメソッドの評価をシチュレートし、意図されたデプロイメントコンテキストに合わせて適切なタスク、データ、ユーザ、メトリクスを選択する必要性についての教訓を持っていると信じています。
論文 参考訳(メタデータ) (2022-06-24T14:46:19Z) - Observing Interventions: A logic for thinking about experiments [62.997667081978825]
本稿では,実験から学ぶ論理への第一歩について述べる。
我々のアプローチにとって重要なことは、介入の概念が(現実的または仮説的な)実験の形式的表現として使用できるという考えである。
提案された全ての論理系に対して、健全で完全な公理化を提供する。
論文 参考訳(メタデータ) (2021-11-25T09:26:45Z) - A Guide to Reproducible Research in Signal Processing and Machine
Learning [9.69596041242667]
2016年にNature誌が行った調査によると、研究者の50%が自身の実験を再現できなかった。
我々は,再現可能な計算実験を生成する上での障害の多くを軽減するための,実用的なツールと戦略のセットを,信号処理研究者に提供することを目的とする。
論文 参考訳(メタデータ) (2021-08-27T16:42:32Z) - Discovering Latent Causal Variables via Mechanism Sparsity: A New
Principle for Nonlinear ICA [81.4991350761909]
ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。
潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
論文 参考訳(メタデータ) (2021-07-21T14:22:14Z) - Optimal Learning for Sequential Decisions in Laboratory Experimentation [0.0]
このチュートリアルは、実験科学者に意思決定の科学の基礎を提供することを目的としている。
学習政策の概念を導入し,主要な政策カテゴリを概観する。
次に、知識勾配と呼ばれるポリシーを導入し、各実験からの情報の価値を最大化する。
論文 参考訳(メタデータ) (2020-04-11T14:53:29Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳(メタデータ) (2020-02-05T21:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。