論文の概要: On Invariance Penalties for Risk Minimization

• arxiv url: http://arxiv.org/abs/2106.09777v1
• Date: Thu, 17 Jun 2021 19:40:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:20:54.289195
• Title: On Invariance Penalties for Risk Minimization
• Title（参考訳）: リスク最小化のための非分散ペナルティについて
• Authors: Kia Khezeli, Arno Blaas, Frank Soboczenski, Nicholas Chia, John Kalantari
• Abstract要約: 不変リスク最小化の原理は、Arjovskyらによって最初に提案された。 本稿では,データ表現のグラミアン行列を再検討することにより,別の不変ペナルティを提案する。 本手法は, 軽度非退化条件下での線形設定の不変表現を復元することが保証される。
• 参考スコア（独自算出の注目度）: 7.927206441149002
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The Invariant Risk Minimization (IRM) principle was first proposed by Arjovsky et al. [2019] to address the domain generalization problem by leveraging data heterogeneity from differing experimental conditions. Specifically, IRM seeks to find a data representation under which an optimal classifier remains invariant across all domains. Despite the conceptual appeal of IRM, the effectiveness of the originally proposed invariance penalty has recently been brought into question. In particular, there exists counterexamples for which that invariance penalty can be arbitrarily small for non-invariant data representations. We propose an alternative invariance penalty by revisiting the Gramian matrix of the data representation. We discuss the role of its eigenvalues in the relationship between the risk and the invariance penalty, and demonstrate that it is ill-conditioned for said counterexamples. The proposed approach is guaranteed to recover an invariant representation for linear settings under mild non-degeneracy conditions. Its effectiveness is substantiated by experiments on DomainBed and InvarianceUnitTest, two extensive test beds for domain generalization.
• Abstract（参考訳）: 不変リスク最小化(IRM)の原理はArjovskyらによって最初に提案された。 [2019] 異なる実験条件からデータ不均一性を生かして領域一般化問題に対処する。 具体的には、最適な分類器がすべての領域で不変であるデータ表現を見つけようとする。 IRMの概念的魅力にもかかわらず、当初提案された不変罰の有効性は近年疑問視されている。 特に、非不変データ表現に対して、不変ペナルティを任意に小さくすることができる反例が存在する。 本稿では,データ表現のグラミアン行列を再検討することにより,別の不変ペナルティを提案する。 リスクと不分散のペナルティの関係における固有値の役割を論じ,その反例に対して不条件であることを示す。 提案手法は, 弱い非退化条件下での線形設定の不変表現を復元することが保証される。 その効果は、ドメイン一般化のための2つの広範囲なテストベッドであるdomainbedとinvarianceunittestの実験によって実証される。

関連論文リスト

• Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
  本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。 ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。 我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
  論文  参考訳（メタデータ） (2023-09-29T02:00:03Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Function-space regularized R\'enyi divergences [6.221019624345409]
  変分関数空間によってパラメトリズされた正則化 R'enyi divergences の新しい族を提案する。 これらの新しい発散のいくつかの性質を証明し、古典的な R'enyi 発散と IPM 間を補間していることを示す。 提案した正規化 R'enyi は、絶対連続でない分布を比較する能力など、IMM から特徴を継承することを示した。
  論文  参考訳（メタデータ） (2022-10-10T19:18:04Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Invariant Ancestry Search [6.583725235299022]
  最小不変性の概念を導入し、不変祖先探索(IAS)を提案する。 集団版では、IASは応答の祖先のみを含む集合を出力し、ICPの出力である。 スケーラブルなアルゴリズムを開発し、シミュレーションおよび実データの実験を行う。
  論文  参考訳（メタデータ） (2022-02-02T08:28:00Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• Does Invariant Risk Minimization Capture Invariance? [23.399091822468407]
  我々は、Arjovskyらの不変リスク最小化(IRM)の定式化を示す。 自然」不変性を捕捉できないことがある。 これは新しい環境の一般化を悪化させる可能性がある。
  論文  参考訳（メタデータ） (2021-01-04T18:02:45Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Few-shot Domain Adaptation by Causal Mechanism Transfer [107.08605582020866]
  我々は,少数のラベル付き対象ドメインデータと多数のラベル付きソースドメインデータしか利用できないレグレッション問題に対して,数ショットの教師付きドメイン適応(DA)について検討する。 現在のDA法の多くは、パラメータ化された分布シフトまたは明らかな分布類似性に基づく転送仮定に基づいている。 本稿では,データ生成機構がドメイン間で不変であるメタ分散シナリオであるメカニズム転送を提案する。
  論文  参考訳（メタデータ） (2020-02-10T02:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。