論文の概要: Distributionally Invariant Learning: Rationalization and Practical Algorithms

• arxiv url: http://arxiv.org/abs/2206.02990v1
• Date: Tue, 7 Jun 2022 03:29:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 15:42:56.143039
• Title: Distributionally Invariant Learning: Rationalization and Practical Algorithms
• Title（参考訳）: 分散不変学習 : 合理化と実践的アルゴリズム
• Authors: Jiashuo Liu, Jiayun Wu, Jie Peng, Zheyan Shen, Bo Li, Peng Cui
• Abstract要約: アウト・オブ・ディストリビューション(OOD)の一般化問題に対する不変学習法は、環境の可用性と品質に強い仮定に依存する。 本稿では,DIL-MMDとDIL-KLという2つの実装とともに,分散不変学習(DIL)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.343845543653345
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The invariance property across environments is at the heart of invariant learning methods for the Out-of-Distribution (OOD) Generalization problem. Although intuitively reasonable, strong assumptions on the availability and quality of environments have to be made for the learnability of the strict invariance property. Recently, to relax the requirements for environments empirically, some works propose to learn pseudo-environments for invariant learning. However, it could be misleading when pursuing strict invariance under latent heterogeneity, since the underlying invariance could have been violated during the pseudo-environment learning procedure. To this end, we come up with the distributional invariance property as a relaxed alternative to the strict invariance, which considers the invariance only among sub-populations down to a prescribed scale and allows a certain degree of variation. We reformulate the invariant learning problem under latent heterogeneity into a relaxed form that pursues the distributional invariance, based on which we propose our novel Distributionally Invariant Learning (DIL) framework as well as two implementations named DIL-MMD and DIL-KL. Theoretically, we provide the guarantees for the distributional invariance as well as bounds of the generalization error gap. Extensive experimental results validate the effectiveness of our proposed algorithms.
• Abstract（参考訳）: 環境間の不変性は、アウト・オブ・ディストリビューション(OOD)一般化問題における不変学習手法の中心である。 直感的には妥当ではあるが、厳密な不変性の学習には、環境の可用性と品質に関する強い仮定が不可欠である。 近年,環境の要件を実証的に緩和するために,不変学習のための擬環境学習を提案する研究もある。 しかし,疑似環境学習の過程では根底の不変性が破られた可能性があるため,潜在性不均一性下で厳密な不分散を追求する場合は誤解を招く可能性がある。 この目的のために、厳密な不変性に代わる緩和された代替として分布不変性を考え出した。 本研究では,不均一な不均一性下での不変学習問題を分散不変性を求める緩和形式に再構成し,新しい分散不変学習(DIL)フレームワークと,DIL-MMDとDIL-KLという2つの実装を提案する。 理論的には、一般化誤差ギャップの境界と同様に分布不変性の保証を提供する。 提案手法の有効性を検証する実験を行った。

関連論文リスト

• Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning [39.02112341007981]
  本研究では,分布変化がモデルミス種別の有無に及ぼす影響について検討した。 経験的リスク最小化(または標準最小二乗回帰)は、望ましくない不特定性の増幅をもたらす可能性があることを示す。 我々は、この好ましくない振る舞いを避ける新しいアルゴリズムを開発し、したがって、最適な統計率を得ながら、誤特定の増幅を行わない。
  論文  参考訳（メタデータ） (2024-01-22T18:59:12Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Minimax Regret Optimization for Robust Machine Learning under Distribution Shift [38.30154154957721]
  未知のテスト分布下で学習モデルを評価した場合の学習シナリオを考察する。 DROの定式化は分布シフト時の一様に小さな後悔を保証しないことを示す。 ミニマックス回帰最適化 (Minimax Regret Optimization, MRO) という代替手法を提案する。
  論文  参考訳（メタデータ） (2022-02-11T04:17:22Z)
• Re-parameterizing VAEs for stability [1.90365714903665]
  本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。 我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。 我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-06-25T16:19:09Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent [17.63112147669365]
  勾配に基づく手法の安定性と一般化は、機械学習モデルの性能に関する貴重な洞察を提供する。 まず、分散勾配勾配の安定性と保証を確立する。 我々の結果は、いくつかの一般的な仮定に基づいて構築され、分散化は初めて悪化する。
  論文  参考訳（メタデータ） (2021-02-02T04:23:23Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。