論文の概要: Enhancing Distributional Stability among Sub-populations

• arxiv url: http://arxiv.org/abs/2206.02990v2
• Date: Wed, 14 Feb 2024 02:26:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 20:38:14.163503
• Title: Enhancing Distributional Stability among Sub-populations
• Title（参考訳）: 個体群間の分布安定性の向上
• Authors: Jiashuo Liu, Jiayun Wu, Jie Peng, Xiaoyu Wu, Yang Zheng, Bo Li, Peng Cui
• Abstract要約: 分散シフト下での機械学習アルゴリズムの安定性向上は、OOD(Out-of-Distribution)一般化問題の中心にある。 本稿では,モデル安定性を向上する新しい安定リスク最小化法を提案する。 実験結果は直感と一致し,アルゴリズムの有効性を検証した。
• 参考スコア（独自算出の注目度）: 32.66329730287957
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Enhancing the stability of machine learning algorithms under distributional shifts is at the heart of the Out-of-Distribution (OOD) Generalization problem. Derived from causal learning, recent works of invariant learning pursue strict invariance with multiple training environments. Although intuitively reasonable, strong assumptions on the availability and quality of environments are made to learn the strict invariance property. In this work, we come up with the ``distributional stability" notion to mitigate such limitations. It quantifies the stability of prediction mechanisms among sub-populations down to a prescribed scale. Based on this, we propose the learnability assumption and derive the generalization error bound under distribution shifts. Inspired by theoretical analyses, we propose our novel stable risk minimization (SRM) algorithm to enhance the model's stability w.r.t. shifts in prediction mechanisms ($Y|X$-shifts). Experimental results are consistent with our intuition and validate the effectiveness of our algorithm. The code can be found at https://github.com/LJSthu/SRM.
• Abstract（参考訳）: 分散シフト下での機械学習アルゴリズムの安定性向上は、OOD(Out-of-Distribution)一般化問題の中心にある。 因果学習から派生した最近の不変学習は、複数の訓練環境と厳密な不変性を追求している。 直感的には合理的だが、環境の可用性と品質に関する強い仮定は、厳密な不変性を学ぶためになされる。 本研究では,このような制約を緩和する「分布安定性」の概念を考案する。 サブ集団間の予測機構の安定性を所定の規模まで定量化する。 そこで本研究では,学習可能性の仮定を提案し,分布シフト下での一般化誤差を導出する。 理論解析から着想を得て,予測メカニズム(Y|X$-shifts)におけるモデルの安定性を向上する,新しい安定リスク最小化(SRM)アルゴリズムを提案する。 実験結果は我々の直観と一致し,アルゴリズムの有効性を検証する。 コードはhttps://github.com/LJSthu/SRMにある。

関連論文リスト

• Mitigating Covariate Shift in Misspecified Regression with Applications to Reinforcement Learning [39.02112341007981]
  本研究では,分布変化がモデルミス種別の有無に及ぼす影響について検討した。 経験的リスク最小化(または標準最小二乗回帰)は、望ましくない不特定性の増幅をもたらす可能性があることを示す。 我々は、この好ましくない振る舞いを避ける新しいアルゴリズムを開発し、したがって、最適な統計率を得ながら、誤特定の増幅を行わない。
  論文  参考訳（メタデータ） (2024-01-22T18:59:12Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Minimax Regret Optimization for Robust Machine Learning under Distribution Shift [38.30154154957721]
  未知のテスト分布下で学習モデルを評価した場合の学習シナリオを考察する。 DROの定式化は分布シフト時の一様に小さな後悔を保証しないことを示す。 ミニマックス回帰最適化 (Minimax Regret Optimization, MRO) という代替手法を提案する。
  論文  参考訳（メタデータ） (2022-02-11T04:17:22Z)
• Re-parameterizing VAEs for stability [1.90365714903665]
  本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。 我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。 我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-06-25T16:19:09Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent [17.63112147669365]
  勾配に基づく手法の安定性と一般化は、機械学習モデルの性能に関する貴重な洞察を提供する。 まず、分散勾配勾配の安定性と保証を確立する。 我々の結果は、いくつかの一般的な仮定に基づいて構築され、分散化は初めて悪化する。
  論文  参考訳（メタデータ） (2021-02-02T04:23:23Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。