論文の概要: Sources of Irreproducibility in Machine Learning: A Review
- arxiv url: http://arxiv.org/abs/2204.07610v1
- Date: Fri, 15 Apr 2022 18:26:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-21 07:06:06.199985
- Title: Sources of Irreproducibility in Machine Learning: A Review
- Title（参考訳）: 機械学習における不再現性の源: レビュー
- Authors: Odd Erik Gundersen, Kevin Coakley and Christine Kirkpatrick
- Abstract要約: いくつかのベンチマーク研究により、機械学習のサブフィールドの一部における技術の現状は、文献で報告されているにもかかわらず、実際には進歩していないことが示されている。
進歩の欠如は、多くのモデル比較研究の不再現性によってもたらされる。
- 参考スコア（独自算出の注目度）: 2.0883760606514934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lately, several benchmark studies have shown that the state of the art in
some of the sub-fields of machine learning actually has not progressed despite
progress being reported in the literature. The lack of progress is partly
caused by the irreproducibility of many model comparison studies. Model
comparison studies are conducted that do not control for many known sources of
irreproducibility. This leads to results that cannot be verified by third
parties. Our objective is to provide an overview of the sources of
irreproducibility that are reported in the literature. We review the literature
to provide an overview and a taxonomy in addition to a discussion on the
identified sources of irreproducibility. Finally, we identify three lines of
further inquiry.
- Abstract（参考訳）: 近年、いくつかのベンチマーク研究により、機械学習のサブ分野における最先端の技術は、文献で報告されているにもかかわらず、実際には進歩していないことが示されている。
進歩の欠如は、多くのモデル比較研究の不再現性に起因する。
モデル比較研究は、多くの既知の非生産性の源を制御しない。
これは第三者によって検証できない結果につながる。
本稿の目的は,文献で報告されている不再現性源の概観を提供することである。
本稿では,本文献を概説し,不再現性の特定源に関する議論に加えて,その概要と分類について概説する。
最後に、さらなる調査の3つの行を特定する。
関連論文リスト
- Causal Representation Learning from Multimodal Biological Observations [57.00712157758845]
我々は,マルチモーダルデータに対するフレキシブルな識別条件の開発を目指している。
我々は、各潜伏成分の識別可能性を保証するとともに、サブスペース識別結果を事前の作業から拡張する。
我々の重要な理論的要素は、異なるモーダル間の因果関係の構造的空間性である。
論文 参考訳（メタデータ） (2024-11-10T16:40:27Z) - Hypothesizing Missing Causal Variables with LLMs [55.28678224020973]
我々は、入力が欠落変数を持つ部分因果グラフであるような新しいタスクを定式化し、出力は部分グラフを完成させるための欠落変数に関する仮説である。
原因と効果の間の媒介変数を仮説化するLLMの強い能力を示す。
また,オープンソースモデルの一部がGPT-4モデルより優れているという驚くべき結果も得られた。
論文 参考訳（メタデータ） (2024-09-04T10:37:44Z) - Design Principles for Falsifiable, Replicable and Reproducible Empirical ML Research [2.3265565167163906]
実証的研究は、機械学習領域において基本的な役割を担っている。
本稿では,実証研究の妥当性を維持するためのガイドラインを伴って,実証研究プロセスのモデルを提案する。
論文 参考訳（メタデータ） (2024-05-28T11:37:59Z) - Examining the Effect of Implementation Factors on Deep Learning
Reproducibility [1.4295431367554867]
3つのディープラーニング実験は、13の異なるハードウェア環境と4つの異なるソフトウェア環境でそれぞれ5回実施された。
ハードウェアやソフトウェア環境のバリエーションだけで導入されたのと同じ決定論的例では、6%以上の精度範囲があった。
論文 参考訳（メタデータ） (2023-12-11T18:51:13Z) - A Double Machine Learning Approach to Combining Experimental and Observational Data [59.29868677652324]
実験と観測を組み合わせた二重機械学習手法を提案する。
我々の枠組みは、より軽度の仮定の下で、外部の妥当性と無知の違反を検査する。
論文 参考訳（メタデータ） (2023-07-04T02:53:11Z) - A Causal Framework for Decomposing Spurious Variations [68.12191782657437]
我々はマルコフモデルとセミマルコフモデルの急激な変分を分解するツールを開発する。
突発効果の非パラメトリック分解を可能にする最初の結果を証明する。
説明可能なAIや公平なAIから、疫学や医学における疑問まで、いくつかの応用がある。
論文 参考訳（メタデータ） (2023-06-08T09:40:28Z) - Testing Causality in Scientific Modelling Software [0.26388783516590225]
Causal Testing Frameworkは、Causal Inferenceテクニックを使用して、既存のデータから因果効果を確立するフレームワークである。
実世界の科学モデルをカバーする3つのケーススタディとして、Causal Testing Frameworkがいかにメタモルフィックテストの結果を推測できるかを示す。
論文 参考訳（メタデータ） (2022-09-01T10:57:54Z) - Observing Interventions: A logic for thinking about experiments [62.997667081978825]
本稿では,実験から学ぶ論理への第一歩について述べる。
我々のアプローチにとって重要なことは、介入の概念が(現実的または仮説的な)実験の形式的表現として使用できるという考えである。
提案された全ての論理系に対して、健全で完全な公理化を提供する。
論文 参考訳（メタデータ） (2021-11-25T09:26:45Z) - A Guide to Reproducible Research in Signal Processing and Machine
Learning [9.69596041242667]
2016年にNature誌が行った調査によると、研究者の50%が自身の実験を再現できなかった。
我々は,再現可能な計算実験を生成する上での障害の多くを軽減するための,実用的なツールと戦略のセットを,信号処理研究者に提供することを目的とする。
論文 参考訳（メタデータ） (2021-08-27T16:42:32Z) - Optimal Learning for Sequential Decisions in Laboratory Experimentation [0.0]
このチュートリアルは、実験科学者に意思決定の科学の基礎を提供することを目的としている。
学習政策の概念を導入し,主要な政策カテゴリを概観する。
次に、知識勾配と呼ばれるポリシーを導入し、各実験からの情報の価値を最大化する。
論文 参考訳（メタデータ） (2020-04-11T14:53:29Z) - A Survey on Causal Inference [64.45536158710014]
因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。
観測データに対する様々な因果効果推定法が誕生した。
論文 参考訳（メタデータ） (2020-02-05T21:35:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。