論文の概要: Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization

• arxiv url: http://arxiv.org/abs/2305.00374v1
• Date: Sun, 30 Apr 2023 03:12:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 15:33:09.319325
• Title: Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization
• Title（参考訳）: 逆不変正規化による対数コントラスト学習の促進
• Authors: Xilie Xu, Jingfeng Zhang, Feng Liu, Masashi Sugiyama, Mohan Kankanhalli
• Abstract要約: 敵対的コントラスト学習(ACL)は、標準コントラスト学習(SCL)と敵対的データを組み込む 表現のスタイル独立性は、転送可能性を改善するのに有益であることが検証されている。 標準不変正規化(SIR)は、学習された表現をSCLを介してスタイル要素に依存しないようにするために提案されている。
• 参考スコア（独自算出の注目度）: 73.32304304788838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial contrastive learning (ACL), without requiring labels, incorporates adversarial data with standard contrastive learning (SCL) and outputs a robust representation which is generalizable and resistant to adversarial attacks and common corruptions. The style-independence property of representations has been validated to be beneficial in improving robustness transferability. Standard invariant regularization (SIR) has been proposed to make the learned representations via SCL to be independent of the style factors. However, how to equip robust representations learned via ACL with the style-independence property is still unclear so far. To this end, we leverage the technique of causal reasoning to propose an adversarial invariant regularization (AIR) that enforces robust representations learned via ACL to be style-independent. Then, we enhance ACL using invariant regularization (IR), which is a weighted sum of SIR and AIR. Theoretically, we show that AIR implicitly encourages the prediction of adversarial data and consistency between adversarial and natural data to be independent of data augmentations. We also theoretically demonstrate that the style-independence property of robust representation learned via ACL still holds in downstream tasks, providing generalization guarantees. Empirically, our comprehensive experimental results corroborate that IR can significantly improve the performance of ACL and its variants on various datasets.
• Abstract（参考訳）: ラベルを必要としないACL(Adversarial contrastive Learning)は、標準的なコントラスト学習(SCL)に敵対データを組み込んで、敵の攻撃や一般的な腐敗に対して一般化可能で耐性のある堅牢な表現を出力する。 表現のスタイル独立性は、堅牢性伝達性を改善するのに有益であることが検証されている。 標準不変正規化(sir)は、sclを介して学習された表現をスタイル因子とは独立にするために提案されている。 しかし、ACLで学んだ堅牢な表現とスタイル独立性とをどう組み合わせるかは、今のところ不明である。 そこで我々は因果推論の手法を利用して,ACLで学習した頑健な表現をスタイル非依存にするための逆不変正規化(AIR)を提案する。 次に,sir と air の重み付き和である invariant regularization (ir) を用いて acl を強化する。 理論的には、AIRは暗黙的に敵データ予測を奨励し、敵データと自然データの一貫性はデータ拡張とは無関係であることを示す。 また,aclで学習したロバスト表現のスタイル依存性が下流タスクに保持されていることも理論的に証明し,一般化を保証する。 実験の結果から,irは様々なデータセット上でaclとその変異体の性能を著しく向上できることが示唆された。

関連論文リスト

• On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning [5.123232962822044]
  非対称非競合学習(ANCL)は、自己指導的表現学習において、対照的な学習よりも優れていることが多い。 教師付き表現学習のためのANCL(SupSiamとSupBYOL)について検討し,より優れた表現を実現するためにANCLのラベルを活用する。 分析の結果,ANCLの監督はクラス内ばらつきを低減し,最高の性能を達成するためには,監督の貢献を調整すべきであることが判明した。
  論文  参考訳（メタデータ） (2024-06-16T06:43:15Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Positional Information Matters for Invariant In-Context Learning: A Case Study of Simple Function Classes [39.08988313527199]
  インコンテキストラーニング(In-context Learning, ICL)とは、新しいクエリ入力に対する応答を生成するために、いくつかのインコンテキストデモでモデルに条件を付ける能力である。 LLMの印象的なICL能力にもかかわらず、LSMのICLは入力デモに敏感であり、短い文脈長に限定されている。
  論文  参考訳（メタデータ） (2023-11-30T02:26:55Z)
• Supervised Adversarial Contrastive Learning for Emotion Recognition in Conversations [24.542445315345464]
  本稿では,クラススプレッドの構造化表現を教師付きで学習するためのフレームワークを提案する。 ラベルレベルの機能の一貫性を効果的に活用し、クラス内でのきめ細かい機能を維持することができる。 CATを用いたフレームワークでは,ラベル一貫性とコンテキストローバスト特性を学習するためのシーケンスベースSACL-LSTMを開発した。
  論文  参考訳（メタデータ） (2023-06-02T12:52:38Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。