論文の概要: Evaluating Robustness to Dataset Shift via Parametric Robustness Sets

• arxiv url: http://arxiv.org/abs/2205.15947v1
• Date: Tue, 31 May 2022 16:44:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-01 13:31:09.990236
• Title: Evaluating Robustness to Dataset Shift via Parametric Robustness Sets
• Title（参考訳）: パラメトリックロバストネスセットによるデータセットシフトのロバスト性評価
• Authors: Nikolaj Thams, Michael Oberst, David Sontag
• Abstract要約: モデル性能に大きな違いをもたらす分布の変化を積極的に同定する手法を提案する。 画像から性別を分類する手法を適用し,非因果属性の変化に対する感受性を明らかにする。
• 参考スコア（独自算出の注目度）: 7.347989843033034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We give a method for proactively identifying small, plausible shifts in distribution which lead to large differences in model performance. To ensure that these shifts are plausible, we parameterize them in terms of interpretable changes in causal mechanisms of observed variables. This defines a parametric robustness set of plausible distributions and a corresponding worst-case loss. While the loss under an individual parametric shift can be estimated via reweighting techniques such as importance sampling, the resulting worst-case optimization problem is non-convex, and the estimate may suffer from large variance. For small shifts, however, we can construct a local second-order approximation to the loss under shift and cast the problem of finding a worst-case shift as a particular non-convex quadratic optimization problem, for which efficient algorithms are available. We demonstrate that this second-order approximation can be estimated directly for shifts in conditional exponential family models, and we bound the approximation error. We apply our approach to a computer vision task (classifying gender from images), revealing sensitivity to shifts in non-causal attributes.
• Abstract（参考訳）: モデル性能に大きな違いをもたらす分布の変化を積極的に同定する手法を提案する。 これらのシフトが妥当であることを保証するため、観測変数の因果メカニズムの解釈可能な変化の観点からパラメータ化する。 これは、可算分布のパラメトリックロバストネス集合と対応する最悪のケース損失を定義する。 個別のパラメトリックシフトによる損失は、重要サンプリングなどの再重み付け手法によって推定できるが、結果として生じる最悪の最適化問題は非凸であり、その推定は大きな分散に悩まされる可能性がある。 しかし、小さなシフトに対しては、シフト中の損失に対する局所的な二階近似を構築し、効率的なアルゴリズムが利用できる特定の非凸二次最適化問題として最悪の場合のシフトを見つける問題をキャストすることができる。 この二階近似を条件付き指数関数系モデルのシフトに対して直接推定できることを実証し,近似誤差を限定した。 このアプローチをコンピュータビジョンタスク(画像から性別を分類する)に適用し、非因果属性のシフトに対する感度を明らかにする。

関連論文リスト

• Decision-Focused Evaluation of Worst-Case Distribution Shift [18.98504221245623]
  本稿では,予測資源割り当て設定における最悪の分散シフトを特定するための新しいフレームワークを提案する。 本稿では,この問題を部分モジュラー最適化問題として再定義し,最悪の場合の損失を効率的に近似できることを示す。 実データに私たちのフレームワークを適用すると、あるメトリクスによって識別される最悪のケースシフトが、他のメトリクスによって識別される最悪のケース分布と著しく異なるという経験的な証拠が得られます。
  論文  参考訳（メタデータ） (2024-07-04T01:00:53Z)
• Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
  最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。 本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
  論文  参考訳（メタデータ） (2022-12-21T18:30:22Z)
• On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks [23.502721524477444]
  このアプローチがいかにして非常に貧弱だが安定な推定に繋がるかを示す合成例を示す。 問題を悪化させる特定の条件とともに、犯人をログライクな損失とみなす。 我々は、損失に対する各データポイントの寄与を、$beta$-exponentiated variance estimateによって重み付けする、$beta$-NLLと呼ばれる別の定式化を提案する。
  論文  参考訳（メタデータ） (2022-03-17T08:46:17Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Robust Bayesian Inference for Discrete Outcomes with the Total Variation Distance [5.139874302398955]
  離散的に評価された結果のモデルは、データがゼロインフレーション、過分散または汚染を示す場合、容易に誤特定される。 ここでは、Ttal Variation Distance (TVD) を用いた頑健な相違に基づくベイズ的アプローチを提案する。 我々は、我々のアプローチが堅牢で、シミュレーションおよび実世界のデータの範囲で予測性能を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-26T09:53:06Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Distributionally Robust Bayesian Optimization [121.71766171427433]
  そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。 提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。 提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
  論文  参考訳（メタデータ） (2020-02-20T22:04:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。