論文の概要: Posterior Differential Regularization with f-divergence for Improving
Model Robustness
- arxiv url: http://arxiv.org/abs/2010.12638v2
- Date: Mon, 12 Apr 2021 17:22:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 21:22:36.276284
- Title: Posterior Differential Regularization with f-divergence for Improving
Model Robustness
- Title(参考訳): モデルロバスト性向上のためのf分割による後部差分正規化
- Authors: Hao Cheng, Xiaodong Liu, Lis Pereira, Yaoliang Yu, Jianfeng Gao
- Abstract要約: クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。
後微分正則化を$f$-divergencesの族に一般化する。
実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
- 参考スコア(独自算出の注目度): 95.05725916287376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We address the problem of enhancing model robustness through regularization.
Specifically, we focus on methods that regularize the model posterior
difference between clean and noisy inputs. Theoretically, we provide a
connection of two recent methods, Jacobian Regularization and Virtual
Adversarial Training, under this framework. Additionally, we generalize the
posterior differential regularization to the family of $f$-divergences and
characterize the overall regularization framework in terms of Jacobian matrix.
Empirically, we systematically compare those regularizations and standard BERT
training on a diverse set of tasks to provide a comprehensive profile of their
effect on model in-domain and out-of-domain generalization. For both fully
supervised and semi-supervised settings, our experiments show that regularizing
the posterior differential with $f$-divergence can result in well-improved
model robustness. In particular, with a proper $f$-divergence, a BERT-base
model can achieve comparable generalization as its BERT-large counterpart for
in-domain, adversarial and domain shift scenarios, indicating the great
potential of the proposed framework for boosting model generalization for NLP
models.
- Abstract(参考訳): 正規化によるモデルロバスト性向上の問題に対処する。
具体的には,クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。
理論的には、この枠組みの下で、Jacobian RegularizationとVirtual Adversarial Trainingという2つの手法の接続を提供する。
さらに、後微分正則化を$f$-divergencesの族に一般化し、ジャコビアン行列の項で全体の正則化フレームワークを特徴づける。
経験的に、これらの正規化と標準的なBERTトレーニングを多様なタスクセットで体系的に比較し、モデル内領域とドメイン外領域の一般化に対するそれらの影響の包括的プロファイルを提供する。
完全教師付き設定と半教師付き設定の両方において、f$-divergenceで後方微分を正規化することで、モデルロバスト性が向上することを示した。
特に、適切な$f$-divergenceで、BERTベースモデルは、ドメイン内、逆、およびドメインシフトのシナリオに対して、BERT-largeと同等の一般化を達成することができ、NLPモデルのモデル一般化を促進するための提案されたフレームワークの大きな可能性を示している。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-03T07:45:53Z) - A Unified Approach to Controlling Implicit Regularization via Mirror
Descent [18.536453909759544]
ミラー降下(MD)は勾配降下(GD)の顕著な一般化である
MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
論文 参考訳(メタデータ) (2023-06-24T03:57:26Z) - Improving Variational Autoencoders with Density Gap-based Regularization [16.770753948524167]
変分オートエンコーダ(VAE)は、潜時表現学習と潜時指向生成のためのNLPにおける強力な非教師なし学習フレームワークの1つである。
実際には、ELBoの最適化は、全ての試料の後方分布を同じ分解された局所最適値、すなわち後崩壊またはKL消滅に収束させる。
本稿では, 階層化後分布と先行分布との確率的密度ギャップに基づく新しい正規化により, 両問題に対処する新たな学習目標を提案する。
論文 参考訳(メタデータ) (2022-11-01T08:17:10Z) - Heterogeneous Calibration: A post-hoc model-agnostic framework for
improved generalization [8.815439276597818]
モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。
単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。
このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
論文 参考訳(メタデータ) (2022-02-10T05:08:50Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-11-25T22:40:09Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。