論文の概要: Decision Theoretic Bootstrapping
- arxiv url: http://arxiv.org/abs/2103.09982v1
- Date: Thu, 18 Mar 2021 02:00:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 05:12:21.096941
- Title: Decision Theoretic Bootstrapping
- Title（参考訳）: 決定理論ブートストラップ
- Authors: Peyman Tavallali, Hamed Hamze Bajgiran, Danial J. Esaid, Houman Owhadi
- Abstract要約: 教師付き機械学習モデルの設計とテストは、2つの基本的な分布を組み合わせる。
この問題に対する一般的な決定理論ブートストラップソリューションを提示する。
- 参考スコア（独自算出の注目度）: 1.988145627448243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The design and testing of supervised machine learning models combine two
fundamental distributions: (1) the training data distribution (2) the testing
data distribution. Although these two distributions are identical and
identifiable when the data set is infinite; they are imperfectly known (and
possibly distinct) when the data is finite (and possibly corrupted) and this
uncertainty must be taken into account for robust Uncertainty Quantification
(UQ). We present a general decision-theoretic bootstrapping solution to this
problem: (1) partition the available data into a training subset and a UQ
subset (2) take $m$ subsampled subsets of the training set and train $m$ models
(3) partition the UQ set into $n$ sorted subsets and take a random fraction of
them to define $n$ corresponding empirical distributions $\mu_{j}$ (4) consider
the adversarial game where Player I selects a model $i\in\left\{
1,\ldots,m\right\} $, Player II selects the UQ distribution $\mu_{j}$ and
Player I receives a loss defined by evaluating the model $i$ against data
points sampled from $\mu_{j}$ (5) identify optimal mixed strategies
(probability distributions over models and UQ distributions) for both players.
These randomized optimal mixed strategies provide optimal model mixtures and UQ
estimates given the adversarial uncertainty of the training and testing
distributions represented by the game. The proposed approach provides (1) some
degree of robustness to distributional shift in both the distribution of
training data and that of the testing data (2) conditional probability
distributions on the output space forming aleatory representations of the
uncertainty on the output as a function of the input variable.
- Abstract（参考訳）: 教師付き機械学習モデルの設計と試験には,(1)訓練データ分布,(2)試験データ分布の2つの基本分布が組み合わさっている。
これらの2つの分布は、データセットが無限であるときに同一であり、識別可能であるが、データが有限である(そして、おそらく腐敗している)場合に不完全に知られ、この不確実性はロバスト不確実性量子化(uq)のために考慮されなければならない。
We present a general decision-theoretic bootstrapping solution to this problem: (1) partition the available data into a training subset and a UQ subset (2) take $m$ subsampled subsets of the training set and train $m$ models (3) partition the UQ set into $n$ sorted subsets and take a random fraction of them to define $n$ corresponding empirical distributions $\mu_{j}$ (4) consider the adversarial game where Player I selects a model $i\in\left\{ 1,\ldots,m\right\} $, Player II selects the UQ distribution $\mu_{j}$ and Player I receives a loss defined by evaluating the model $i$ against data points sampled from $\mu_{j}$ (5) identify optimal mixed strategies (probability distributions over models and UQ distributions) for both players.
これらのランダム化された最適混合戦略は、ゲームに代表されるトレーニングおよびテスト分布の逆不確かさを考慮し、最適なモデル混合とUQ推定を提供する。
提案手法は,(1) 学習データの分布と試験データの両方の分布変化に対するある程度の頑健性を与える。(2) 出力空間上の条件付き確率分布は,入力変数の関数として出力上の不確かさの予備表現を形成する。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Universal Batch Learning Under The Misspecification Setting [4.772817128620037]
ログロスを伴う不特定設定において、普遍的なエムバッチ学習の問題を考察する。
我々は、最適普遍学習者、データ生成分布の集合上の混合を導出し、min-max後悔を表す閉形式表現を得る。
論文 参考訳（メタデータ） (2024-05-12T11:16:05Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Training Implicit Generative Models via an Invariant Statistical Loss [3.139474253994318]
暗黙的な生成モデルは任意の複雑なデータ分布を学習する能力を持つ。
マイナス面として、トレーニングでは、敵対的判別器を使用して人工的に生成されたデータと実際のデータを区別する必要がある。
本研究では,1次元(1次元)生成暗黙的モデルを学習するための判別器フリーな手法を開発した。
論文 参考訳（メタデータ） (2024-02-26T09:32:28Z) - Testable Learning with Distribution Shift [9.036777309376697]
分散シフトを伴うテスト可能学習と呼ばれる新しいモデルを定義する。
テスト分布上の分類器の性能を証明可能なアルゴリズムを得る。
ハーフスペースやハーフスペースの交点,決定木といった概念クラスを学ぶ上で,いくつかの肯定的な結果が得られる。
論文 参考訳（メタデータ） (2023-11-25T23:57:45Z) - Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk
Minimization Framework [12.734559823650887]
分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。
既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。
本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-20T23:25:28Z) - Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。
提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-14T08:00:49Z) - Diagnosing Model Performance Under Distribution Shift [9.143551270841858]
予測モデルは、トレーニングディストリビューションとは異なるターゲットディストリビューションにデプロイされた場合、パフォーマンスが良くない。
提案手法は,1)トレーニングの難易度が高いが頻繁な例の増加,2)特徴と成果の関係の変化,3)トレーニング中の頻度の低い例や見当たらない例のパフォーマンス低下など,パフォーマンスの低下を用語に分解する。
論文 参考訳（メタデータ） (2023-03-03T15:27:16Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳（メタデータ） (2023-02-18T09:24:15Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-07-24T05:18:17Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。