論文の概要: Invariant Risk Minimization Games

• arxiv url: http://arxiv.org/abs/2002.04692v2
• Date: Wed, 18 Mar 2020 21:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:37:44.704745
• Title: Invariant Risk Minimization Games
• Title（参考訳）: 不変リスク最小化ゲーム
• Authors: Kartik Ahuja, Karthikeyan Shanmugam, Kush R. Varshney, Amit Dhurandhar
• Abstract要約: 本研究では,複数の環境においてアンサンブルゲームのナッシュ平衡を求めるような不変リスク最小化を行う。 そこで我々は,本実験における最適応答力学と平衡を用いた簡単なトレーニングアルゴリズムを開発し,Arjovskyらの難解な二段階最適化問題よりもはるかに低いばらつきで,同様の,あるいは優れた経験的精度が得られることを示した。
• 参考スコア（独自算出の注目度）: 48.00018458720443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The standard risk minimization paradigm of machine learning is brittle when operating in environments whose test distributions are different from the training distribution due to spurious correlations. Training on data from many environments and finding invariant predictors reduces the effect of spurious features by concentrating models on features that have a causal relationship with the outcome. In this work, we pose such invariant risk minimization as finding the Nash equilibrium of an ensemble game among several environments. By doing so, we develop a simple training algorithm that uses best response dynamics and, in our experiments, yields similar or better empirical accuracy with much lower variance than the challenging bi-level optimization problem of Arjovsky et al. (2019). One key theoretical contribution is showing that the set of Nash equilibria for the proposed game are equivalent to the set of invariant predictors for any finite number of environments, even with nonlinear classifiers and transformations. As a result, our method also retains the generalization guarantees to a large set of environments shown in Arjovsky et al. (2019). The proposed algorithm adds to the collection of successful game-theoretic machine learning algorithms such as generative adversarial networks.
• Abstract（参考訳）: 機械学習の標準的なリスク最小化パラダイムは、スプリアス相関によるトレーニング分布とテスト分布が異なる環境での運用では不安定である。 多くの環境からのデータのトレーニングと不変な予測器の発見は、結果と因果関係を持つ特徴にモデルを集中させることで、刺激的な特徴の効果を減らす。 本研究では,複数の環境においてアンサンブルゲームのナッシュ平衡を求めるような不変リスク最小化を行う。 そこで我々は,最良の応答ダイナミクスを用いた簡易な学習アルゴリズムを開発し,実験では,arjovsky et al.(2019)の挑戦的2レベル最適化問題よりも,非常に低い分散で類似または優れた経験的精度を与える。 1つの重要な理論的貢献は、提案されたゲームに対するナッシュ均衡の集合が、非線形分類器や変換でさえ、任意の有限個の環境に対する不変予測子の集合と等価であることを示すことである。 その結果、この手法はArjovsky et al. (2019) に示される大きな環境の集合に対する一般化保証も維持する。 提案アルゴリズムは, 生成逆数ネットワークなどのゲーム理論機械学習アルゴリズムの収集に成功した。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
  最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。 鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。 本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning [12.947265104477237]
  データから因果関係を抽出することは、科学的発見、治療介入、伝達学習における根本的な問題である。 Focused Adversial Invariant Regularization (FAIR) フレームワークは、革新的なミニマックス最適化アプローチを採用している。 FAIR-NNは最小の識別条件下で不変変数と準因果変数を見つけることができる。
  論文  参考訳（メタデータ） (2024-05-07T23:37:40Z)
• Sufficient Invariant Learning for Distribution Shift [20.88069274935592]
  本稿では,SIL(Sufficient Invariant Learning)フレームワークという新しい学習原理を紹介する。 SILは、単一の機能に頼るのではなく、不変機能の十分なサブセットを学ぶことに重点を置いている。 本稿では,適応シャープネスを意識したグループ分散ロバスト最適化(ASGDRO)を提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:34:24Z)
• A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization [44.88645911638269]
  安定学習文学における独立駆動の重要度アルゴリズムは経験的効果を示している。 本稿では,このようなアルゴリズムの有効性を,特徴選択プロセスとして説明することにより理論的に証明する。 理想的な条件下では、独立駆動の重み付けアルゴリズムがこの集合の変数を識別できることを証明した。
  論文  参考訳（メタデータ） (2021-11-03T17:18:49Z)
• Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal Representations [55.50218493466906]
  本稿では,データ分布の変化に伴うロバスト再構成可能なインテリジェントサーフェス(ris)システム設計の問題について検討する。 不変リスク最小化(IRM)の概念を用いて、複数の環境にまたがる不変因果表現を用いて、予測器が各環境に対して同時に最適となるようにする。 予測器を探すためにニューラルネットワークベースのソリューションを採用し、その性能は経験的リスク最小化に基づく設計に対するシミュレーションによって検証される。
  論文  参考訳（メタデータ） (2021-05-04T21:36:31Z)
• Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
  最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。 特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
  論文  参考訳（メタデータ） (2021-03-01T04:58:27Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。