論文の概要: Continual Invariant Risk Minimization

• arxiv url: http://arxiv.org/abs/2310.13977v1
• Date: Sat, 21 Oct 2023 11:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:05:51.950286
• Title: Continual Invariant Risk Minimization
• Title（参考訳）: 連続的不変リスク最小化
• Authors: Francesco Alesiani, Shujian Yu and Mathias Niepert
• Abstract要約: 経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
• 参考スコア（独自算出の注目度）: 46.051656238770086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical risk minimization can lead to poor generalization behavior on unseen environments if the learned model does not capture invariant feature representations. Invariant risk minimization (IRM) is a recent proposal for discovering environment-invariant representations. IRM was introduced by Arjovsky et al. (2019) and extended by Ahuja et al. (2020). IRM assumes that all environments are available to the learning system at the same time. With this work, we generalize the concept of IRM to scenarios where environments are observed sequentially. We show that existing approaches, including those designed for continual learning, fail to identify the invariant features and models across sequentially presented environments. We extend IRM under a variational Bayesian and bilevel framework, creating a general approach to continual invariant risk minimization. We also describe a strategy to solve the optimization problems using a variant of the alternating direction method of multiplier (ADMM). We show empirically using multiple datasets and with multiple sequential environments that the proposed methods outperform or is competitive with prior approaches.
• Abstract（参考訳）: 経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。 IRM は Arjovsky et al. (2019) によって導入され、Ahuja et al. (2020) によって拡張された。 IRMは、すべての環境が同時に学習システムに利用できると仮定する。 本研究は,ITMの概念を環境が連続的に観察されるシナリオに一般化する。 連続学習用に設計されたものを含む既存のアプローチでは、連続的に提示された環境にまたがる不変な特徴やモデルを特定することができない。 irmを変分ベイズおよびバイレベルな枠組みで拡張し、連続的不変リスク最小化への一般的なアプローチを作成する。 また,乗算器の交互方向法(admm)の変種を用いて最適化問題を解決する戦略について述べる。 複数のデータセットと複数のシーケンシャル環境を用いて,提案手法が先行手法よりも優れているか,あるいは競合していることを示す。

関連論文リスト

• Enlarging Feature Support Overlap for Domain Generalization [9.227839292188346]
  不変リスク最小化(IRM)は、不変機能を学び、異なるドメインにわたるリスクを最小限にすることでこの問題に対処する。 本稿では,ドメイン一般化のための機能サポートオーバーラップを拡大する新しい手法を提案する。 具体的には、サンプルの多様性を高め、IRMの欠如を克服するためにベイズランダムデータ拡張を導入する。
  論文  参考訳（メタデータ） (2024-07-08T09:16:42Z)
• Invariant Risk Minimization Is A Total Variation Model [3.000494957386027]
  不変リスク最小化(英: Invariant risk minimization、IRM)とは、機械学習において、不変の機能を様々な環境に一般化する手法である。 IRMは本質的に学習リスクのL2$(TV-$ell$)に基づく総変動であることを示す。 本稿では,TV-$ell$モデルに基づく新しいIRMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-02T15:34:14Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal Representations [55.50218493466906]
  本稿では,データ分布の変化に伴うロバスト再構成可能なインテリジェントサーフェス(ris)システム設計の問題について検討する。 不変リスク最小化(IRM)の概念を用いて、複数の環境にまたがる不変因果表現を用いて、予測器が各環境に対して同時に最適となるようにする。 予測器を探すためにニューラルネットワークベースのソリューションを採用し、その性能は経験的リスク最小化に基づく設計に対するシミュレーションによって検証される。
  論文  参考訳（メタデータ） (2021-05-04T21:36:31Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• An Empirical Study of Invariant Risk Minimization [5.412466703928342]
  不変リスク最小化(invariant risk minimization)は、突発的相関に不変な予測子を学習するためのフレームワークである。 理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。 IRMv1は、IRMを近似的に解くために提案された最初の実用的なアルゴリズムである。
  論文  参考訳（メタデータ） (2020-04-10T12:23:29Z)
• Invariant Causal Prediction for Block MDPs [106.63346115341862]
  環境全体にわたる一般化は、実世界の課題への強化学習アルゴリズムの適用の成功に不可欠である。 本稿では,多環境環境における新しい観測を一般化するモデル不適合状態抽象化(MISA)を学習するための不変予測法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T21:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。