論文の概要: Towards Inferential Reproducibility of Machine Learning Research
- arxiv url: http://arxiv.org/abs/2302.04054v5
- Date: Thu, 13 Apr 2023 12:10:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 17:05:00.330678
- Title: Towards Inferential Reproducibility of Machine Learning Research
- Title（参考訳）: 機械学習研究の推論可能性に向けて
- Authors: Michael Hagmann, Philipp Meier and Stefan Riezler
- Abstract要約: 非決定性のいくつかの源は測定ノイズとみなすことができる。
研究結果の無視を強制するためにノイズを取り除く傾向は、実装レベルでは非決定論的である。
本稿では,データ特性との相互作用を含む分散の源泉を,機械学習評価の重要度と信頼性の分析に組み入れることを提案する。
- 参考スコア（独自算出の注目度）: 10.645991132230607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliability of machine learning evaluation -- the consistency of observed
evaluation scores across replicated model training runs -- is affected by
several sources of nondeterminism which can be regarded as measurement noise.
Current tendencies to remove noise in order to enforce reproducibility of
research results neglect inherent nondeterminism at the implementation level
and disregard crucial interaction effects between algorithmic noise factors and
data properties. This limits the scope of conclusions that can be drawn from
such experiments. Instead of removing noise, we propose to incorporate several
sources of variance, including their interaction with data properties, into an
analysis of significance and reliability of machine learning evaluation, with
the aim to draw inferences beyond particular instances of trained models. We
show how to use linear mixed effects models (LMEMs) to analyze performance
evaluation scores, and to conduct statistical inference with a generalized
likelihood ratio test (GLRT). This allows us to incorporate arbitrary sources
of noise like meta-parameter variations into statistical significance testing,
and to assess performance differences conditional on data properties.
Furthermore, a variance component analysis (VCA) enables the analysis of the
contribution of noise sources to overall variance and the computation of a
reliability coefficient by the ratio of substantial to total variance.
- Abstract（参考訳）: 機械学習評価の信頼性 -- 再現されたモデルトレーニング実行における観察された評価スコアの一貫性 -- は、測定ノイズと見なされる複数の非決定性源に影響される。
研究結果の再現性を強制するためにノイズを除去する現在の傾向は、実装レベルで固有の非決定性を無視し、アルゴリズム的ノイズ要因とデータ特性の間の重要な相互作用効果を無視している。
これはそのような実験から引き出すことができる結論の範囲を制限する。
ノイズを除去する代わりに、学習モデルの特定のインスタンスを超えて推論を引き出すことを目的とした、機械学習評価の重要度と信頼性の分析に、データ特性との相互作用を含む複数のばらつき源を組み込むことを提案する。
本稿では,線形混合効果モデル (LMEM) を用いて評価スコアを解析し,一般確率比テスト (GLRT) を用いて統計的推論を行う方法を示す。
これにより、メタパラメータの変動のような任意のノイズ源を統計的に有意なテストに組み込むことができ、データ特性に基づく性能差を評価することができる。
さらに、分散成分分析(VCA)により、ノイズ源の総合的な分散への寄与の分析と、全分散に対する実質的な比による信頼性係数の計算が可能となる。
関連論文リスト
- Explainability of Machine Learning Models under Missing Data [2.880748930766428]
データ不足は、モデルの性能と解釈可能性を著しく損なうおそれのある問題である。
本稿では, 欠落データ分野の展開を要約し, 種々の計算法がシェープリー値の計算に与える影響について考察する。
論文 参考訳（メタデータ） (2024-06-29T11:31:09Z) - Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳（メタデータ） (2023-11-09T23:32:06Z) - Assessing the overall and partial causal well-specification of nonlinear additive noise models [4.13592995550836]
このような誤用があっても因果関係を推測できる予測変数を同定することを目的としている。
本稿では,有限サンプルデータに対するアルゴリズムを提案し,その特性について議論し,シミュレーションおよび実データ上での性能を示す。
論文 参考訳（メタデータ） (2023-10-25T09:44:16Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T00:33:11Z) - Spatio-temporally separable non-linear latent factor learning: an
application to somatomotor cortex fMRI data [0.0]
潜在因子の脳全体の発見が可能なfMRIデータのモデルについて検討する。
空間重み付けを効率化するための新しい手法は、データの高次元性とノイズの存在に対処するために重要である。
本手法は,複数のモーターサブタスクを用いたデータを用いて,モデルが各サブタスクに対応する非絡み合った潜在因子を捕捉するかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-26T21:30:22Z) - Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文 参考訳（メタデータ） (2022-03-29T13:07:53Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳（メタデータ） (2022-03-29T04:54:06Z) - Harmonization with Flow-based Causal Inference [12.739380441313022]
本稿では, 医療データを調和させる構造因果モデル (SCM) に対して, 反実的推論を行う正規化フローに基づく手法を提案する。
我々は,この手法が最先端のアルゴリズムよりもドメイン間一般化に寄与することを示すために,複数の,大規模な実世界の医療データセットを評価した。
論文 参考訳（メタデータ） (2021-06-12T19:57:35Z) - Adaptive Multi-View ICA: Estimation of noise levels for optimal
inference [65.94843987207445]
Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。
AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。
実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
論文 参考訳（メタデータ） (2021-02-22T13:10:12Z) - Uncertainty Quantification in Extreme Learning Machine: Analytical
Developments, Variance Estimates and Confidence Intervals [0.0]
不確かさの定量化は、機械学習モデルの予測品質を評価するために不可欠である。
文献で提案されるほとんどの手法は、データに対して強い仮定を行い、入力重みのランダム性を無視したり、信頼区間推定におけるバイアス寄与を無視したりする。
本稿では,これらの制約を克服し,EMMの多様性の理解を向上させる新しい推定法を提案する。
論文 参考訳（メタデータ） (2020-11-03T13:45:59Z) - Estimating Structural Target Functions using Machine Learning and
Influence Functions [103.47897241856603]
統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。
このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。
我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
論文 参考訳（メタデータ） (2020-08-14T16:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。