論文の概要: EiHi Net: Out-of-Distribution Generalization Paradigm
- arxiv url: http://arxiv.org/abs/2209.14946v1
- Date: Thu, 29 Sep 2022 17:08:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:18:39.443101
- Title: EiHi Net: Out-of-Distribution Generalization Paradigm
- Title(参考訳): eihi net: 分散の一般化パラダイム
- Authors: Qinglai Wei, Beiming Yuan, Diancheng Chen
- Abstract要約: EiHi netは、どんな視覚的バックボーンでも祝福できるモデル学習パラダイムである。
本稿では,ディープラーニングにおけるOoD(Out-of-distriion)の一般化問題を解決するために,新しいEeiHiネットを開発した。
- 参考スコア(独自算出の注目度): 6.33280703577189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper develops a new EiHi net to solve the out-of-distribution (OoD)
generalization problem in deep learning. EiHi net is a model learning paradigm
that can be blessed on any visual backbone. This paradigm can change the
previous learning method of the deep model, namely find out correlations
between inductive sample features and corresponding categories, which suffers
from pseudo correlations between indecisive features and labels. We fuse SimCLR
and VIC-Reg via explicitly and dynamically establishing the original - positive
- negative sample pair as a minimal learning element, the deep model
iteratively establishes a relationship close to the causal one between features
and labels, while suppressing pseudo correlations. To further validate the
proposed model, and strengthen the established causal relationships, we develop
a human-in-the-loop strategy, with few guidance samples, to prune the
representation space directly. Finally, it is shown that the developed EiHi net
makes significant improvements in the most difficult and typical OoD dataset
Nico, compared with the current SOTA results, without any domain ($e.g.$
background, irrelevant features) information.
- Abstract(参考訳): 本稿では,深層学習におけるアウト・オブ・ディストリビューション(ood)一般化問題を解決するための新しいアイヒネットを開発した。
EiHi netは、どんな視覚的バックボーンでも祝福できるモデル学習パラダイムである。
このパラダイムは、インダクティブなサンプル特徴と、非決定的特徴とラベルとの擬似相関に苦しむ対応するカテゴリとの相関を求めるという、ディープモデルの以前の学習方法を変えることができる。
我々は,SimCLRとVIC-Regを最小の学習要素として,元の-正-負のサンプルペアを明示的に動的に確立し,深いモデルで特徴とラベルの因果関係に近い関係を反復的に確立し,擬似相関を抑える。
提案モデルをさらに検証し,確立された因果関係を強化するため,本手法では,直接的に表現空間を創出するために,ガイダンスの少ないループ型戦略を開発する。
最後に、開発されたEeiHiネットは、現在のSOTA結果と比較して、最も困難で典型的なOoDデータセットNicoにおいて、ドメイン情報(例えば、バックグラウンド、無関係な機能)なしで大幅に改善されている。
関連論文リスト
- The Edge-of-Reach Problem in Offline Model-Based Reinforcement Learning [37.387280102209274]
オフライン強化学習は、事前に収集されたデータセットからエージェントをトレーニング可能にすることを目的としている。
モデルベースの手法は、エージェントが学習されたダイナミックスモデルでロールアウトを介して追加の合成データを収集できるようにすることで、ソリューションを提供する。
しかし、学習したダイナミックスモデルを真のエラーフリーなダイナミックスに置き換えると、既存のモデルベースのメソッドは完全に失敗する。
本稿では, エッジ・オブ・リーチ問題に直接対処する単純で堅牢な手法であるReach-Aware Value Learning (RAVL)を提案する。
論文 参考訳(メタデータ) (2024-02-19T20:38:00Z) - Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Mitigate Domain Shift by Primary-Auxiliary Objectives Association for
Generalizing Person ReID [39.98444065846305]
ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。
本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。
我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
論文 参考訳(メタデータ) (2023-10-24T15:15:57Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Causal Reasoning in the Presence of Latent Confounders via Neural ADMG
Learning [8.649109147825985]
潜伏境界は、観測データから因果推論を行うための長年の障害である。
本稿では,ADMG学習のための自己回帰フローに基づく新しい神経因果モデルを提案する。
論文 参考訳(メタデータ) (2023-03-22T16:45:54Z) - Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue
Response Generation Models by Causal Discovery [52.95935278819512]
本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。
因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
論文 参考訳(メタデータ) (2023-03-02T06:33:48Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。
本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。
提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
論文 参考訳(メタデータ) (2021-10-07T17:58:58Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。