論文の概要: Invariant Correlation of Representation with Label

• arxiv url: http://arxiv.org/abs/2407.01749v1
• Date: Mon, 1 Jul 2024 19:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 19:23:01.152915
• Title: Invariant Correlation of Representation with Label
• Title（参考訳）: ラベルによる表現の不変性
• Authors: Gaojie Jin, Ronghui Mu, Xinping Yi, Xiaowei Huang, Lijun Zhang,
• Abstract要約: ICorr(textbfInvariant textbfCorrelationの略)は、ノイズの多い環境でのドメインの一般化の課題を克服する新しい手法である。 我々は、様々なノイズデータセット上で、他の領域一般化手法と比較することにより、ICorrの有効性を実証的に実証した。
• 参考スコア（独自算出の注目度）: 30.82552387894663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Invariant Risk Minimization (IRM) approach aims to address the challenge of domain generalization by training a feature representation that remains invariant across multiple environments. However, in noisy environments, IRM-related techniques such as IRMv1 and VREx may be unable to achieve the optimal IRM solution, primarily due to erroneous optimization directions. To address this issue, we introduce ICorr (an abbreviation for \textbf{I}nvariant \textbf{Corr}elation), a novel approach designed to surmount the above challenge in noisy settings. Additionally, we dig into a case study to analyze why previous methods may lose ground while ICorr can succeed. Through a theoretical lens, particularly from a causality perspective, we illustrate that the invariant correlation of representation with label is a necessary condition for the optimal invariant predictor in noisy environments, whereas the optimization motivations for other methods may not be. Furthermore, we empirically demonstrate the effectiveness of ICorr by comparing it with other domain generalization methods on various noisy datasets.
• Abstract（参考訳）: Invariant Risk Minimization (IRM) アプローチは、複数の環境において不変な特徴表現をトレーニングすることで、ドメインの一般化の課題に対処することを目的としている。 しかし、ノイズの多い環境では、IRMv1やVRExのようなITM関連の技術は、主に誤った最適化方向のために最適なIRMソリューションを達成できない可能性がある。 この問題に対処するために、我々は、上記の課題をノイズの多い設定で克服するために設計された新しいアプローチであるICorr( \textbf{I}nvariant \textbf{Corr}elationの略)を導入する。 さらに、ICorrが成功する間、以前の方法が不利になる可能性がある理由を分析するためにケーススタディを掘り下げる。 理論的レンズ、特に因果性の観点からは、表現とラベルとの不変相関が雑音環境における最適不変予測器に必要な条件であるのに対し、他の手法の最適化モチベーションは必要でないことを示す。 さらに、様々なノイズデータセット上で、ICorrを他の領域一般化手法と比較することにより、ICorrの有効性を実証的に実証する。

関連論文リスト

• From Inverse Optimization to Feasibility to ERM [11.731853838892487]
  パラメータの予測に付加的なコンテキスト情報を利用するコンテキスト逆設定について検討する。 合成および実世界の問題に対する我々のアプローチを実験的に検証し,既存手法と比較して性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:06:42Z)
• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Repeated Environment Inference for Invariant Learning [8.372465442144046]
  ベイズ最適条件ラベル分布が異なる環境において同じである場合、不変表現の概念に焦点を当てる。 従来の作業は、不変リスク最小化(IRM)フレームワークからペナルティ項を最大化することで環境推論(EI)を行う。 本手法は, 合成データセットと実世界のデータセットの両方において, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-26T13:07:22Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Environment Inference for Invariant Learning [9.63004099102596]
  環境推論を組み込んだドメイン不変学習フレームワークであるEIILを提案する。 EIILは環境ラベルを使わずにCMNISTベンチマークの不変学習法より優れていることを示す。 また、EIILとアルゴリズムフェアネスの接続を確立することにより、公平な予測問題において、EIILは精度とキャリブレーションを改善することができる。
  論文  参考訳（メタデータ） (2020-10-14T17:11:46Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• An Empirical Study of Invariant Risk Minimization [5.412466703928342]
  不変リスク最小化(invariant risk minimization)は、突発的相関に不変な予測子を学習するためのフレームワークである。 理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。 IRMv1は、IRMを近似的に解くために提案された最初の実用的なアルゴリズムである。
  論文  参考訳（メタデータ） (2020-04-10T12:23:29Z)
• Invariant Causal Prediction for Block MDPs [106.63346115341862]
  環境全体にわたる一般化は、実世界の課題への強化学習アルゴリズムの適用の成功に不可欠である。 本稿では,多環境環境における新しい観測を一般化するモデル不適合状態抽象化(MISA)を学習するための不変予測法を提案する。
  論文  参考訳（メタデータ） (2020-03-12T21:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。