論文の概要: Conditional entropy minimization principle for learning domain invariant representation features

• arxiv url: http://arxiv.org/abs/2201.10460v1
• Date: Tue, 25 Jan 2022 17:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 14:53:49.402084
• Title: Conditional entropy minimization principle for learning domain invariant representation features
• Title（参考訳）: 学習領域不変表現特徴に対する条件付きエントロピー最小化原理
• Authors: Thuan Nguyen, Boyang Lyu, Prakash Ishwar, Matthias Scheutz, Shuchin Aeron
• Abstract要約: 本稿では,条件付きエントロピー最小化原理に基づくフレームワークを提案する。 提案手法はよく知られたInformation Bottleneckフレームワークと密接に関連していることを示す。
• 参考スコア（独自算出の注目度）: 30.459247038765568
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Invariance principle-based methods, for example, Invariant Risk Minimization (IRM), have recently emerged as promising approaches for Domain Generalization (DG). Despite the promising theory, invariance principle-based approaches fail in common classification tasks due to the mixture of the true invariant features and the spurious invariant features. In this paper, we propose a framework based on the conditional entropy minimization principle to filter out the spurious invariant features leading to a new algorithm with a better generalization capability. We theoretically prove that under some particular assumptions, the representation function can precisely recover the true invariant features. In addition, we also show that the proposed approach is closely related to the well-known Information Bottleneck framework. Both the theoretical and numerical results are provided to justify our approach.
• Abstract（参考訳）: 不変原理に基づく手法、例えば不変リスク最小化(irm)はドメイン一般化(dg)への有望なアプローチとして最近登場している。 有望な理論にもかかわらず、不変原理に基づくアプローチは真の不変特徴と急激な不変特徴の混合により共通の分類タスクで失敗する。 本稿では,条件付きエントロピー最小化原理に基づくフレームワークを提案する。 理論上、ある特定の仮定の下では、表現関数は真の不変な特徴を正確に回復できることを証明できる。 また,提案手法は知名度の高いInformation Bottleneckフレームワークと密接に関連していることを示す。 我々のアプローチを正当化するために理論的および数値的な結果が提供される。

関連論文リスト

• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Generalized Invariant Matching Property via LASSO [19.786769414376323]
  本研究では,内在空間の高次元問題を定式化することにより,不変マッチング特性を一般化する。 本稿では,Lassoの変種を利用して,より堅牢で計算効率の良いアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-14T21:09:30Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• On the benefits of representation regularization in invariance based domain generalization [6.197602794925773]
  ドメインの一般化は、観測された環境と見えない環境の間のこのような予測ギャップを軽減することを目的としている。 本稿では、単に不変表現の学習が、目に見えない環境に対して脆弱であることを明らかにする。 さらに, 領域一般化におけるロバスト性向上のための効率的な正則化手法を考案した。
  論文  参考訳（メタデータ） (2021-05-30T13:13:55Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning explanations that are hard to vary [75.30552491694066]
  例を越えた平均化は、異なる戦略を縫合する記憶とパッチワークのソリューションに有利であることを示す。 そこで我々は論理ANDに基づく単純な代替アルゴリズムを提案し,実験的に検証する。
  論文  参考訳（メタデータ） (2020-09-01T10:17:48Z)
• Convex Representation Learning for Generalized Invariance in Semi-Inner-Product Space [32.442549424823355]
  本研究では, 半ノルムにおける多種多様な一般化表現のアルゴリズムを開発し, 先頭の表現子を定式化し, 境界を定式化する。 これにより、正確な予測とともに、我々の実験で確認されているように、表現を効率的かつ効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-04-25T18:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。