論文の概要: Risk Variance Penalization

• arxiv url: http://arxiv.org/abs/2006.07544v2
• Date: Fri, 9 Apr 2021 06:19:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:32:15.759082
• Title: Risk Variance Penalization
• Title（参考訳）: リスク分散ペナリゼーション
• Authors: Chuanlong Xie, Haotian Ye, Fei Chen, Yue Liu, Rui Sun, Zhenguo Li
• Abstract要約: 分散リスク補間(V-REx)は、ドメインレベルの正規化に依存するが、そのモチベーションと実用性に関する理論的検証が欠けている、実用的なOOD法である。 本稿では、分散に基づく正則化器を研究することにより、V-RExに関する理論的知見を提供する。
• 参考スコア（独自算出の注目度）: 41.28951272502368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key of the out-of-distribution (OOD) generalization is to generalize invariance from training domains to target domains. The variance risk extrapolation (V-REx) is a practical OOD method, which depends on a domain-level regularization but lacks theoretical verifications about its motivation and utility. This article provides theoretical insights into V-REx by studying a variance-based regularizer. We propose Risk Variance Penalization (RVP), which slightly changes the regularization of V-REx but addresses the theory concerns about V-REx. We provide theoretical explanations and a theory-inspired tuning scheme for the regularization parameter of RVP. Our results point out that RVP discovers a robust predictor. Finally, we experimentally show that the proposed regularizer can find an invariant predictor under certain conditions.
• Abstract（参考訳）: out-of-distribution(ood)一般化の鍵は、トレーニングドメインからターゲットドメインへの非分散を一般化することだ。 分散リスク補間(V-REx)は、ドメインレベルの正規化に依存するが、そのモチベーションと実用性に関する理論的検証が欠けている実用的なOOD法である。 本稿では、分散に基づく正則化器を研究することにより、V-RExに関する理論的知見を提供する。 本稿では,V-RExの正規化をわずかに変化させるリスク分散ペナリゼーション(RVP)を提案する。 RVPの正規化パラメータに対する理論的説明と理論に着想を得たチューニングスキームを提供する。 我々の結果は、RVPが堅牢な予測器を発見することを指摘している。 最後に,提案した正則化器が特定の条件下で不変な予測器を発見できることを示す。

関連論文リスト

• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics [21.51266421854127]
  我々はIWAE(Importance Weighted Auto-Encoder)境界の一般化であるVR-IWAE境界を定式化し研究する。 我々はVR-IWAE境界がいくつかの望ましい特性を享受していることを示し、特にVR境界と同じ勾配降下手順を導出することを示した。 次に、VR-IWAE境界と標準IWAE境界の相補的理論的解析を行う。
  論文  参考訳（メタデータ） (2022-10-12T14:15:39Z)
• Mean-Semivariance Policy Optimization via Risk-Averse Reinforcement Learning [12.022303947412917]
  本稿では,強化学習における平均半変量基準の最適化を目的とした。 我々は,政策依存型報酬関数を用いて一連のRL問題を反復的に解くことで,MSV問題を解くことができることを明らかにした。 政策勾配理論と信頼領域法に基づく2つのオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-15T08:32:53Z)
• Excess risk analysis for epistemic uncertainty with application to variational inference [110.4676591819618]
  我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。 一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。 本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
  論文  参考訳（メタデータ） (2022-06-02T12:12:24Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression [20.00435452480056]
  本研究では,分割・分散手法の限界を克服するために,新しい応答適応分割戦略を開発する。 提案手法は, 従来のダックKRR推定値よりも小さい平均二乗誤差(AMSE)を有することを示す。
  論文  参考訳（メタデータ） (2021-07-13T04:01:04Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Out-of-Distribution Generalization via Risk Extrapolation (REx) [13.397286701438217]
  トレーニング領域間でのリスクの差異を低減させることで,広範囲の極端分布シフトに対するモデルの感度を低下させることができることを示す。 我々は、このアプローチであるリスク外挿(REx)を、外挿ドメインの摂動集合に対する堅牢な最適化の一形態として動機付けている。 我々は,RExの変種がターゲットの因果的機構を回復し,入力分布の変化に頑健性をもたらすことを証明した。
  論文  参考訳（メタデータ） (2020-03-02T06:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。