論文の概要: Implicit Counterfactual Data Augmentation for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2304.13431v1
- Date: Wed, 26 Apr 2023 10:36:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 14:40:46.607018
- Title: Implicit Counterfactual Data Augmentation for Deep Neural Networks
- Title(参考訳): 深部ニューラルネットワークのための暗黙の対実データ拡張
- Authors: Xiaoling Zhou, Ou Wu
- Abstract要約: 機械学習モデルは、非因果属性とクラスの間の急激な相関を捉える傾向にある。
本研究では,突発的相関を除去し,安定な予測を行う暗黙的対実データ拡張手法を提案する。
- 参考スコア(独自算出の注目度): 3.6397924689580745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine-learning models are prone to capturing the spurious correlations
between non-causal attributes and classes, with counterfactual data
augmentation being a promising direction for breaking these spurious
associations. However, explicitly generating counterfactual data is
challenging, with the training efficiency declining. Therefore, this study
proposes an implicit counterfactual data augmentation (ICDA) method to remove
spurious correlations and make stable predictions. Specifically, first, a novel
sample-wise augmentation strategy is developed that generates semantically and
counterfactually meaningful deep features with distinct augmentation strength
for each sample. Second, we derive an easy-to-compute surrogate loss on the
augmented feature set when the number of augmented samples becomes infinite.
Third, two concrete schemes are proposed, including direct quantification and
meta-learning, to derive the key parameters for the robust loss. In addition,
ICDA is explained from a regularization aspect, with extensive experiments
indicating that our method consistently improves the generalization performance
of popular depth networks on multiple typical learning scenarios that require
out-of-distribution generalization.
- Abstract(参考訳): 機械学習モデルは、非causal属性とクラスの間のスプリアス相関を捉える傾向にあり、偽データ拡張はこれらのスプリアス関連を破る有望な方向である。
しかしながら、トレーニング効率が低下する中で、反事実データを明確に生成することは困難である。
そこで本研究では,突発的相関を除去し,安定した予測を行う暗黙の反事実データ拡張法を提案する。
具体的には,まず,各試料に対して異なる加重強度を有する意味的かつ反実有意義な深層特徴を生成できる新しい加重戦略を開発した。
第2に、拡張サンプルの数が無限になれば、拡張特徴集合上で簡単に計算可能なサロゲート損失を導出する。
第3に、ロバストな損失の鍵となるパラメータを導出するために、直接定量化とメタラーニングを含む2つの具体的なスキームを提案する。
さらに,本手法は,分散一般化を必要とする複数の典型的な学習シナリオにおいて,一般的な奥行きネットワークの一般化性能を一貫して向上させることを示す広範な実験によって,正規化の観点から説明されている。
関連論文リスト
- Semi-Supervised Learning via Swapped Prediction for Communication Signal
Recognition [11.325643693823828]
ラベルが少ない小さなデータセットでディープニューラルネットワークをトレーニングすることは、一般的に過度な適合に陥り、結果として生成されたパフォーマンスが低下する。
我々は、より容易に利用可能なラベル付き信号データの集合を効果的に活用し、一般化を改善する半教師付き学習(SSL)法を開発した。
論文 参考訳(メタデータ) (2023-11-14T14:08:55Z) - On Counterfactual Data Augmentation Under Confounding [30.76982059341284]
トレーニングデータのバイアスを緩和する手段として、対実データ拡張が出現している。
これらのバイアスは、データ生成プロセスにおいて観測され、観測されていない様々な共役変数によって生じる。
提案手法は,既存の最先端手法が優れた結果を得るのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2023-05-29T16:20:23Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳(メタデータ) (2021-06-09T01:37:36Z) - Self-paced Data Augmentation for Training Neural Networks [11.554821454921536]
本稿では,ニューラルネットワークをトレーニングする際のデータ拡張に適したサンプルを自動的に選択するセルフペース拡張を提案する。
提案手法は,非効率なデータ拡張による一般化性能の低下を緩和する。
実験結果から,SPAは,特にトレーニングサンプル数が少ない場合,一般化性能を向上できることが示された。
論文 参考訳(メタデータ) (2020-10-29T09:13:18Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。
提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。
提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
論文 参考訳(メタデータ) (2020-07-21T00:32:44Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。