論文の概要: Machine Learning's Dropout Training is Distributionally Robust Optimal

• arxiv url: http://arxiv.org/abs/2009.06111v2
• Date: Wed, 14 Apr 2021 05:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 02:52:11.043176
• Title: Machine Learning's Dropout Training is Distributionally Robust Optimal
• Title（参考訳）: 機械学習のドロップアウトトレーニングは分散的ロバストに最適
• Authors: Jose Blanchet and Yang Kang and Jose Luis Montiel Olea and Viet Anh Nguyen and Xuhui Zhang
• Abstract要約: 本稿では,一般線形モデルにおけるドロップアウトトレーニングが,期待外の損失保証を提供することを示す。 また、ドロップアウトトレーニングの実装を高速化するために、新しい並列化可能なUnbiased Multi-Level Monte Carloアルゴリズムも提供する。
• 参考スコア（独自算出の注目度）: 10.937094979510212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper shows that dropout training in Generalized Linear Models is the minimax solution of a two-player, zero-sum game where an adversarial nature corrupts a statistician's covariates using a multiplicative nonparametric errors-in-variables model. In this game, nature's least favorable distribution is dropout noise, where nature independently deletes entries of the covariate vector with some fixed probability $\delta$. This result implies that dropout training indeed provides out-of-sample expected loss guarantees for distributions that arise from multiplicative perturbations of in-sample data. In addition to the decision-theoretic analysis, the paper makes two more contributions. First, there is a concrete recommendation on how to select the tuning parameter $\delta$ to guarantee that, as the sample size grows large, the in-sample loss after dropout training exceeds the true population loss with some pre-specified probability. Second, the paper provides a novel, parallelizable, Unbiased Multi-Level Monte Carlo algorithm to speed-up the implementation of dropout training. Our algorithm has a much smaller computational cost compared to the naive implementation of dropout, provided the number of data points is much smaller than the dimension of the covariate vector.
• Abstract（参考訳）: 本稿では,一般化線形モデルにおけるドロップアウトトレーニングが,逆数の性質が統計量の共変を乗算的非パラメトリック誤差不変量モデルを用いて破壊する2プレイヤーゼロサムゲームのミニマックス解であることを示す。 このゲームにおいて、自然界の最も好ましくない分布はドロップアウトノイズであり、自然界は独立に一定の確率$\delta$の共変ベクトルのエントリを削除する。 この結果、ドロップアウトトレーニングは、実際にサンプル内データの乗算摂動から生じる分布に対して、サンプル外損失を保証する。 決定論的分析に加えて、論文はさらに2つの貢献を行っている。 まず、サンプルサイズが大きくなるにつれて、ドロップアウトトレーニング後のサンプル内損失が、特定の確率で真の人口減少を超えることを保証するために、チューニングパラメータ$\delta$を選択する方法を具体的に推奨する。 第2に、ドロップアウトトレーニングの実装を高速化するために、新しい並列化可能で偏りのないマルチレベルモンテカルロアルゴリズムを提案する。 我々のアルゴリズムは,データ点数が共変量ベクトルの次元よりもはるかに小さいことを前提として,ドロップアウトの簡単な実装よりも計算コストがはるかに小さい。

関連論文リスト

• Robust Time Series Forecasting with Non-Heavy-Tailed Gaussian Loss-Weighted Sampler [1.8816077341295625]
  近年のリサンプリング手法は, ランニング損失に基づいてサンプルを再重み付けすることで, トレーニング効率を向上させることを目的としている。 本稿では,ガウスの損失重みとガウスの分布重みとを乗算するガウスの損失重み付きサンプリング手法を提案する。 これは、平均的な損失に近いものを選びながら、非常に低い、または非常に高い損失でサンプルを選択する確率を下げる。
  論文  参考訳（メタデータ） (2024-06-19T22:28:18Z)
• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Learning from a Biased Sample [3.546358664345473]
  本稿では,テスト分布のファミリーで発生する最悪のリスクを最小限に抑える決定ルールの学習方法を提案する。 本研究では,健康調査データからメンタルヘルススコアの予測を行うケーススタディにおいて,提案手法を実証的に検証した。
  論文  参考訳（メタデータ） (2022-09-05T04:19:16Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。