論文の概要: Distributional Robustness Bounds Generalization Errors

• arxiv url: http://arxiv.org/abs/2212.09962v1
• Date: Tue, 20 Dec 2022 02:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 14:29:59.760258
• Title: Distributional Robustness Bounds Generalization Errors
• Title（参考訳）: 分布ロバスト性境界の一般化誤差
• Authors: Shixiong Wang, Haowei Wang, and Jean Honorio
• Abstract要約: ベイズ法は, ほぼ正しい意味で分布的に頑健であることを示す。 正規化された経験的リスク最小化法はベイズ法と同値であることが証明できる。 本研究では,機械学習モデルの一般化誤差を,正規分布の分布不確かさを用いて特徴付けることができることを示す。
• 参考スコア（独自算出の注目度）: 22.13245769402118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian methods, distributionally robust optimization methods, and regularization methods are three pillars of trustworthy machine learning hedging against distributional uncertainty, e.g., the uncertainty of an empirical distribution compared to the true underlying distribution. This paper investigates the connections among the three frameworks and, in particular, explores why these frameworks tend to have smaller generalization errors. Specifically, first, we suggest a quantitative definition for "distributional robustness", propose the concept of "robustness measure", and formalize several philosophical concepts in distributionally robust optimization. Second, we show that Bayesian methods are distributionally robust in the probably approximately correct (PAC) sense; In addition, by constructing a Dirichlet-process-like prior in Bayesian nonparametrics, it can be proven that any regularized empirical risk minimization method is equivalent to a Bayesian method. Third, we show that generalization errors of machine learning models can be characterized using the distributional uncertainty of the nominal distribution and the robustness measures of these machine learning models, which is a new perspective to bound generalization errors, and therefore, explain the reason why distributionally robust machine learning models, Bayesian models, and regularization models tend to have smaller generalization errors.
• Abstract（参考訳）: ベイズ法、分布的に堅牢な最適化法、正規化法は、分布の不確実性に対して信頼できる機械学習の3つの柱である。 本稿では,3つのフレームワーク間の関係について検討し,特に,これらのフレームワークの一般化誤差が小さい傾向について考察する。 具体的には,まず「分散的ロバストネス」の定量的定義を提案し,「ロバストネス測度」の概念を提案し,分布的ロバスト最適化におけるいくつかの哲学的概念を定式化する。 第2に、ベイズ法がおそらくほぼ正しい(pac)意味で分布的にロバストであることを示し、さらにベイズ非パラメトリックスにおいてディリクレ過程のような事前構造を構築することにより、任意の正規化経験的リスク最小化法がベイズ法と同値であることを証明できる。 第3に、機械学習モデルの一般化誤差は、境界汎化誤差に対する新たな視点である、名目分布の不確実性とこれら機械学習モデルの堅牢性尺度の分布的不確実性を用いて特徴付けられることを示し、分布的堅牢な機械学習モデル、ベイズモデル、正規化モデルがより小さな一般化誤差を持つ理由を説明する。

関連論文リスト

• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Symmetric Q-learning: Reducing Skewness of Bellman Error in Online Reinforcement Learning [55.75959755058356]
  深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。 最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。 そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:49:19Z)
• Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity [24.874664446700272]
  本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。 提案したモデルのモンテカルロ法に基づく解法(例えば、一貫性と正規性)、非漸近性(例えば、非バイアス性や誤差境界)について検討した。
  論文  参考訳（メタデータ） (2023-01-31T11:33:18Z)
• Scalable Dynamic Mixture Model with Full Covariance for Probabilistic Traffic Forecasting [16.04029885574568]
  時間変化誤差過程に対するゼロ平均ガウス分布の動的混合を提案する。 提案手法は,学習すべきパラメータを数つ追加するだけで,既存のディープラーニングフレームワークにシームレスに統合することができる。 提案手法を交通速度予測タスク上で評価し,提案手法がモデル水平線を改良するだけでなく,解釈可能な時間相関構造も提供することを発見した。
  論文  参考訳（メタデータ） (2022-12-10T22:50:00Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• A likelihood approach to nonparametric estimation of a singular distribution using deep generative models [4.329951775163721]
  深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。 我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。 また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
  論文  参考訳（メタデータ） (2021-05-09T23:13:58Z)
• Achieving Efficiency in Black Box Simulation of Distribution Tails with Self-structuring Importance Samplers [1.6114012813668934]
  本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
  論文  参考訳（メタデータ） (2021-02-14T03:37:22Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。