論文の概要: Implicit Counterfactual Data Augmentation for Robust Learning
- arxiv url: http://arxiv.org/abs/2304.13431v2
- Date: Wed, 16 Oct 2024 03:26:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:38:34.000266
- Title: Implicit Counterfactual Data Augmentation for Robust Learning
- Title(参考訳): ロバスト学習のための暗黙の対実データ拡張
- Authors: Xiaoling Zhou, Ou Wu, Michael K. Ng,
- Abstract要約: 本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。
画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
- 参考スコア(独自算出の注目度): 24.795542869249154
- License:
- Abstract: Machine learning models are prone to capturing the spurious correlations between non-causal attributes and classes, with counterfactual data augmentation being a promising direction for breaking these spurious associations. However, generating counterfactual data explicitly poses a challenge, and incorporating augmented data into the training process decreases training efficiency. This study proposes an Implicit Counterfactual Data Augmentation (ICDA) method to remove spurious correlations and make stable predictions. Specifically, first, a novel sample-wise augmentation strategy is developed that generates semantically and counterfactually meaningful deep features with distinct augmentation strength for each sample. Second, we derive an easy-to-compute surrogate loss on the augmented feature set when the number of augmented samples becomes infinite. Third, two concrete schemes are proposed, including direct quantification and meta-learning, to derive the key parameters for the robust loss. In addition, ICDA is explained from a regularization perspective, revealing its capacity to improve intra-class compactness and augment margins at both class and sample levels. Extensive experiments have been conducted across various biased learning scenarios covering both image and text datasets, demonstrating that ICDA consistently enhances the generalization and robustness performance of popular networks.
- Abstract(参考訳): 機械学習モデルは、非因果属性とクラスの間の急激な相関を捉える傾向があり、反ファクト的なデータ拡張は、これらの急激な関連を破るための有望な方向である。
しかし、反事実データの生成は明らかに課題であり、トレーニングプロセスに付加的なデータを組み込むことで、トレーニング効率が低下する。
本研究では,突発的相関を除去し,安定した予測を行うためのICDA法を提案する。
具体的には、まず、各サンプルに対して異なる増強強度を持つ意味的かつ反現実的に意味のある深い特徴を生成する新しいサンプルワイド増強戦略を開発する。
第2に、拡張サンプルの数が無限になれば、拡張特徴集合上で簡単に計算可能なサロゲート損失を導出する。
第3に、ロバストな損失の鍵となるパラメータを導出するために、直接定量化とメタラーニングを含む2つの具体的なスキームを提案する。
さらに、ICDAは正規化の観点から説明され、クラス内コンパクト性を改善し、クラスおよびサンプルレベルでマージンを拡大する能力を明らかにしている。
画像データセットとテキストデータセットの両方をカバーする様々なバイアス付き学習シナリオに対して大規模な実験が行われ、ICDAが人気ネットワークの一般化とロバスト性性能を一貫して向上することを示した。
関連論文リスト
- Boosting Model Resilience via Implicit Adversarial Data Augmentation [20.768174896574916]
本稿では, 対向性および対向性摂動分布を組み込むことにより, 試料の深い特性を増大させることを提案する。
そして、この拡張過程が代理損失関数の最適化に近似することを理論的に明らかにする。
我々は4つの共通のバイアス付き学習シナリオにまたがって広範な実験を行う。
論文 参考訳(メタデータ) (2024-04-25T03:22:48Z) - Semi-Supervised Learning via Swapped Prediction for Communication Signal
Recognition [11.325643693823828]
ラベルが少ない小さなデータセットでディープニューラルネットワークをトレーニングすることは、一般的に過度な適合に陥り、結果として生成されたパフォーマンスが低下する。
我々は、より容易に利用可能なラベル付き信号データの集合を効果的に活用し、一般化を改善する半教師付き学習(SSL)法を開発した。
論文 参考訳(メタデータ) (2023-11-14T14:08:55Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-22T19:44:57Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳(メタデータ) (2021-06-09T01:37:36Z) - Self-paced Data Augmentation for Training Neural Networks [11.554821454921536]
本稿では,ニューラルネットワークをトレーニングする際のデータ拡張に適したサンプルを自動的に選択するセルフペース拡張を提案する。
提案手法は,非効率なデータ拡張による一般化性能の低下を緩和する。
実験結果から,SPAは,特にトレーニングサンプル数が少ない場合,一般化性能を向上できることが示された。
論文 参考訳(メタデータ) (2020-10-29T09:13:18Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z) - Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。
提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。
提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
論文 参考訳(メタデータ) (2020-07-21T00:32:44Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳(メタデータ) (2020-05-01T02:08:58Z) - Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。
G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。
分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
論文 参考訳(メタデータ) (2020-04-24T06:12:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。