論文の概要: Domain Generalization without Excess Empirical Risk
- arxiv url: http://arxiv.org/abs/2308.15856v1
- Date: Wed, 30 Aug 2023 08:46:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 14:12:25.362792
- Title: Domain Generalization without Excess Empirical Risk
- Title(参考訳): 過剰な経験的リスクのないドメイン一般化
- Authors: Ozan Sener and Vladlen Koltun
- Abstract要約: 一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。
我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。
我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
- 参考スコア(独自算出の注目度): 83.26052467843725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given data from diverse sets of distinct distributions, domain generalization
aims to learn models that generalize to unseen distributions. A common approach
is designing a data-driven surrogate penalty to capture generalization and
minimize the empirical risk jointly with the penalty. We argue that a
significant failure mode of this recipe is an excess risk due to an erroneous
penalty or hardness in joint optimization. We present an approach that
eliminates this problem. Instead of jointly minimizing empirical risk with the
penalty, we minimize the penalty under the constraint of optimality of the
empirical risk. This change guarantees that the domain generalization penalty
cannot impair optimization of the empirical risk, i.e., in-distribution
performance. To solve the proposed optimization problem, we demonstrate an
exciting connection to rate-distortion theory and utilize its tools to design
an efficient method. Our approach can be applied to any penalty-based domain
generalization method, and we demonstrate its effectiveness by applying it to
three examplar methods from the literature, showing significant improvements.
- Abstract(参考訳): 異なる分布の多様な集合からのデータを考えると、領域の一般化は目に見えない分布に一般化するモデルを学ぶことを目的としている。
一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。
我々は、このレシピの重大な失敗モードは、不正なペナルティや共同最適化の困難さによる過度なリスクであると主張している。
我々はこの問題を排除するアプローチを提案する。
経験的リスクとペナルティを同時に最小化する代わりに、経験的リスクの最適性の制約の下でペナルティを最小化する。
この変更により、領域一般化のペナルティは、経験的リスク、すなわち分布内性能の最適化を損なわないことが保証される。
提案する最適化問題の解法として,速度歪み理論とエキサイティングな関係を示し,そのツールを用いて効率的な手法を設計する。
本手法は, ペナルティに基づく領域一般化法に適用可能であり, 文献から得られた3つの試験方法に適用することにより, その効果を実証し, 大幅な改善を示した。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Pitfall of Optimism: Distributional Reinforcement Learning by
Randomizing Risk Criterion [9.35556128467037]
本稿では,リスクの一方的な傾向を避けるために,リスク基準のランダム化によって行動を選択する新しい分散強化学習アルゴリズムを提案する。
理論的結果は,提案手法がバイアス探索に該当せず,最適回帰に収束することが保証されていることを裏付けるものである。
論文 参考訳(メタデータ) (2023-10-25T10:53:04Z) - Efficient Stochastic Approximation of Minimax Excess Risk Optimization [38.56907677356602]
最小極超過リスク最適化(MERO)は、異なる分布における異種ノイズの影響を抑制する利点がある。
我々はMEROを直接対象とする効率的な近似手法を開発した。
最小リスクの推定誤差に起因するバイアスが制御下にあることを示す。
論文 参考訳(メタデータ) (2023-05-31T02:21:11Z) - Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。
P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。
P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
論文 参考訳(メタデータ) (2022-05-24T06:15:51Z) - Towards Optimal Problem Dependent Generalization Error Bounds in
Statistical Learning Theory [11.840747467007963]
我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。
一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。
我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
論文 参考訳(メタデータ) (2020-11-12T04:07:29Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-08T11:35:47Z) - Tilted Empirical Risk Minimization [26.87656095874882]
経験的リスク最小化への直接的な拡張を通じて、個人の損失の影響を柔軟に調整できることを示す。
その結果, TERMはアウトリーチの影響を増大または減少させ, 公平性や堅牢性を実現することができることがわかった。
また、外れ値に同時に対処したり、公平性を促進するなど、全く新しいアプリケーションを可能にすることもできる。
論文 参考訳(メタデータ) (2020-07-02T14:49:48Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳(メタデータ) (2020-06-15T05:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。