論文の概要: Class Is Invariant to Context and Vice Versa: On Learning Invariance for Out-Of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2208.03462v2
• Date: Fri, 31 Mar 2023 05:56:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 17:28:06.364304
• Title: Class Is Invariant to Context and Vice Versa: On Learning Invariance for Out-Of-Distribution Generalization
• Title（参考訳）: クラスは文脈と副詞に不変:外部分布一般化のための学習不変性について
• Authors: Jiaxin Qi, Kaihua Tang, Qianru Sun, Xian-Sheng Hua, and Hanwang Zhang
• Abstract要約: 我々は、先行研究において広く採用されている前提である文脈バイアスを直接注釈付けしたり、偏見付きクラス予測から推定することができると論じる。 対照的に、上述の原則の見過ごされた他の側面を指摘する:コンテキストもクラスに不変である。 我々は、クラス内サンプル類似性の対照的な損失を最小限に抑えながら、この類似性がすべてのクラスで不変であることを保証し、この考え方を実装した。
• 参考スコア（独自算出の注目度）: 80.22736530704191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-Of-Distribution generalization (OOD) is all about learning invariance against environmental changes. If the context in every class is evenly distributed, OOD would be trivial because the context can be easily removed due to an underlying principle: class is invariant to context. However, collecting such a balanced dataset is impractical. Learning on imbalanced data makes the model bias to context and thus hurts OOD. Therefore, the key to OOD is context balance. We argue that the widely adopted assumption in prior work, the context bias can be directly annotated or estimated from biased class prediction, renders the context incomplete or even incorrect. In contrast, we point out the everoverlooked other side of the above principle: context is also invariant to class, which motivates us to consider the classes (which are already labeled) as the varying environments to resolve context bias (without context labels). We implement this idea by minimizing the contrastive loss of intra-class sample similarity while assuring this similarity to be invariant across all classes. On benchmarks with various context biases and domain gaps, we show that a simple re-weighting based classifier equipped with our context estimation achieves state-of-the-art performance. We provide the theoretical justifications in Appendix and codes on https://github.com/simpleshinobu/IRMCon.
• Abstract（参考訳）: Out-Of-Distribution Generalization (OOD) とは、環境変化に対する不変性を学習することである。 すべてのクラスのコンテキストが均等に分散されている場合、OODは自明である。 しかし、そのようなバランスのとれたデータセットの収集は現実的ではない。 不均衡なデータを学習することで、モデルがコンテキストに偏り、OODを損なう。 したがって、OODの鍵はコンテキストバランスである。 先行研究において広く採用されている仮定である文脈バイアスは、バイアス付きクラス予測から直接注釈付けや推定が可能であり、文脈が不完全あるいは不正確であると主張する。 コンテキストもクラスに不変であり、コンテキストバイアス(文脈ラベルなしで)を解決する様々な環境としてクラス(すでにラベル付けされている)を考える動機となります。 この概念を実装し、クラス内サンプル類似性の対照的な損失を最小限に抑えつつ、この類似性を全てのクラスにわたって不変とすることで実装する。 種々のコンテキストバイアスとドメインギャップを持つベンチマークにおいて、文脈推定を備えた単純な再重み付けに基づく分類器が最先端の性能を達成することを示す。 Appendix の理論的正当化と https://github.com/simpleshinobu/IRMCon のコードを提供する。

関連論文リスト

• Effect-Invariant Mechanisms for Policy Generalization [3.701112941066256]
  不変条件分布を利用して、目に見えない環境をより一般化するモデルを学ぶことが提案されている。 効果不変性(英語版)と呼ばれる完全な不変性の緩和を導入し、ゼロショットポリシーの一般化には適切な仮定の下で十分であることを示す。 シミュレーションデータと移動体保健介入データセットを用いて実験結果を提示し,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-06-19T14:50:24Z)
• Malign Overfitting: Interpolation Can Provably Preclude Invariance [30.776243638012314]
  補間にもかかわらずモデルを適切に一般化する「良性過剰適合」は、堅牢性や公正性が望ましい設定に好ましくない可能性があることを示す。 本研究では,非補間型分類器の確率的不変性を学習するアルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2022-11-28T19:17:31Z)
• In What Ways Are Deep Neural Networks Invariant and How Should We Measure This? [5.757836174655293]
  我々は、これらの特性を損失や精度などの他の指標から切り離す方法で定量化することができる、不変および等分散メトリクスのファミリーを導入する。 本研究では,事前学習した重み付きモデルの初期化がトレーニングモデルの不変性に影響を及ぼすか否かから,トレーニングによって学習した不変性が分布外データに一般化できる範囲まで,ディープラーニングモデルにおける不変性と等価性に関するさまざまな結論を導出する。
  論文  参考訳（メタデータ） (2022-10-07T18:43:21Z)
• Equivariance and Invariance Inductive Bias for Learning from Insufficient Data [65.42329520528223]
  不十分なデータがモデルを、通常テストとは異なる限られたトレーニング環境にバイアスしやすくする理由が示されています。 従来のIRMにおける環境アノテーションの欠如を効果的に解決するクラスワイド不変リスク最小化(IRM)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T15:26:19Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)
• On Model Evaluation under Non-constant Class Imbalance [0.0]
  多くの実世界の分類問題は、関心の階級の有害さと著しくクラス不均衡である。 通常の仮定では、テストデータセットの不均衡は実世界の不均衡と等しい。 非コンスタントクラス不均衡下での評価に焦点をあてる手法を提案する。
  論文  参考訳（メタデータ） (2020-01-15T21:52:24Z)
• Don't Judge an Object by Its Context: Learning to Overcome Contextual Bias [113.44471186752018]
  既存のモデルは、認識精度を向上させるために、オブジェクトとそのコンテキスト間の共起を利用することが多い。 この研究は、学習した特徴表現の堅牢性を改善するために、そのような文脈バイアスに対処することに焦点を当てている。
  論文  参考訳（メタデータ） (2020-01-09T18:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。