論文の概要: Posterior Differential Regularization with f-divergence for Improving Model Robustness

• arxiv url: http://arxiv.org/abs/2010.12638v2
• Date: Mon, 12 Apr 2021 17:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:22:36.276284
• Title: Posterior Differential Regularization with f-divergence for Improving Model Robustness
• Title（参考訳）: モデルロバスト性向上のためのf分割による後部差分正規化
• Authors: Hao Cheng, Xiaodong Liu, Lis Pereira, Yaoliang Yu, Jianfeng Gao
• Abstract要約: クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
• 参考スコア（独自算出の注目度）: 95.05725916287376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of enhancing model robustness through regularization. Specifically, we focus on methods that regularize the model posterior difference between clean and noisy inputs. Theoretically, we provide a connection of two recent methods, Jacobian Regularization and Virtual Adversarial Training, under this framework. Additionally, we generalize the posterior differential regularization to the family of $f$-divergences and characterize the overall regularization framework in terms of Jacobian matrix. Empirically, we systematically compare those regularizations and standard BERT training on a diverse set of tasks to provide a comprehensive profile of their effect on model in-domain and out-of-domain generalization. For both fully supervised and semi-supervised settings, our experiments show that regularizing the posterior differential with $f$-divergence can result in well-improved model robustness. In particular, with a proper $f$-divergence, a BERT-base model can achieve comparable generalization as its BERT-large counterpart for in-domain, adversarial and domain shift scenarios, indicating the great potential of the proposed framework for boosting model generalization for NLP models.
• Abstract（参考訳）: 正規化によるモデルロバスト性向上の問題に対処する。 具体的には,クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 理論的には、この枠組みの下で、Jacobian RegularizationとVirtual Adversarial Trainingという2つの手法の接続を提供する。 さらに、後微分正則化を$f$-divergencesの族に一般化し、ジャコビアン行列の項で全体の正則化フレームワークを特徴づける。 経験的に、これらの正規化と標準的なBERTトレーニングを多様なタスクセットで体系的に比較し、モデル内領域とドメイン外領域の一般化に対するそれらの影響の包括的プロファイルを提供する。 完全教師付き設定と半教師付き設定の両方において、f$-divergenceで後方微分を正規化することで、モデルロバスト性が向上することを示した。 特に、適切な$f$-divergenceで、BERTベースモデルは、ドメイン内、逆、およびドメインシフトのシナリオに対して、BERT-largeと同等の一般化を達成することができ、NLPモデルのモデル一般化を促進するための提案されたフレームワークの大きな可能性を示している。

関連論文リスト

• Fine-Tuning Pre-trained Language Models for Robust Causal Representation Learning [26.29386609645171]
  プレトレーニング言語モデル(PLM)の微調整は、様々な領域で有効であることが示されている。 本研究では, 分解仮定に基づいて, いわゆる因果前ドア調整によりロバスト表現を導出可能であることを示す。 そこで本研究では,表現学習に微調整機構と因果関係を導入することにより,領域一般化問題に光を当てる。
  論文  参考訳（メタデータ） (2024-10-18T11:06:23Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• Heterogeneous Calibration: A post-hoc model-agnostic framework for improved generalization [8.815439276597818]
  モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。 単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。 このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
  論文  参考訳（メタデータ） (2022-02-10T05:08:50Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。