論文の概要: Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity

• arxiv url: http://arxiv.org/abs/2301.13565v1
• Date: Tue, 31 Jan 2023 11:33:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 16:47:36.485871
• Title: Learning Against Distributional Uncertainty: On the Trade-off Between Robustness and Specificity
• Title（参考訳）: 分布不確実性に対する学習--ロバスト性と特異性とのトレードオフについて
• Authors: Shixiong Wang, Haowei Wang, Jean Honorio
• Abstract要約: 本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。 提案したモデルのモンテカルロ法に基づく解法(例えば、一貫性と正規性)、非漸近性(例えば、非バイアス性や誤差境界)について検討した。
• 参考スコア（独自算出の注目度）: 24.874664446700272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trustworthy machine learning aims at combating distributional uncertainties in training data distributions compared to population distributions. Typical treatment frameworks include the Bayesian approach, (min-max) distributionally robust optimization (DRO), and regularization. However, two issues have to be raised: 1) All these methods are biased estimators of the true optimal cost; 2) the prior distribution in the Bayesian method, the radius of the distributional ball in the DRO method, and the regularizer in the regularization method are difficult to specify. This paper studies a new framework that unifies the three approaches and that addresses the two challenges mentioned above. The asymptotic properties (e.g., consistency and asymptotic normalities), non-asymptotic properties (e.g., unbiasedness and generalization error bound), and a Monte--Carlo-based solution method of the proposed model are studied. The new model reveals the trade-off between the robustness to the unseen data and the specificity to the training data.
• Abstract（参考訳）: 信頼できる機械学習は、人口分布と比較して、トレーニングデータ分布の不確実性に対処することを目的としている。 典型的な治療フレームワークにはベイズ的アプローチ、(min-max)分散ロバスト最適化(DRO)、正規化がある。 しかし、2つの問題が提起される。 1) これらの方法はすべて,真の最適コストの偏見付き推定器である。 2) ベイズ法における先行分布, DRO法における分布球半径, 正規化法における正規化器の特定は困難である。 本稿では,3つのアプローチを統一し,上記の2つの課題に対処する新たな枠組みについて検討する。 非漸近性(例えば、一貫性と漸近正規性)、非漸近性(例えば、不偏性および一般化誤差境界)、および提案モデルのモンテカルロ法に基づく解法について検討した。 新しいモデルは、見えないデータに対する堅牢性と、トレーニングデータに対する特異性とのトレードオフを明らかにする。

関連論文リスト

• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Distributional Robustness Bounds Generalization Errors [2.3940819037450987]
  分散ロバスト性」の定量的定義を提案する。 ベイズ法は, ほぼ正しい意味で分布的に頑健であることを示す。 本研究では,機械学習モデルの一般化誤差を,正規分布の分布不確かさを用いて特徴付けることができることを示す。
  論文  参考訳（メタデータ） (2022-12-20T02:30:13Z)
• Distributed Distributionally Robust Optimization with Non-Convex Objectives [24.64654924173679]
  Asynchronous Single-looP alternatIve gRadient projEction という非同期分散アルゴリズムを提案する。 新しい不確実性集合、すなわち制約付きD-ノルムの不確実性集合は、以前の分布を利用し、強靭性の度合いを柔軟に制御するために開発される。 実世界のデータセットに関する実証研究は、提案手法が高速収束を達成できるだけでなく、悪意のある攻撃だけでなく、データに対する堅牢性も維持できることを示した。
  論文  参考訳（メタデータ） (2022-10-14T07:39:13Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。