論文の概要: Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization

• arxiv url: http://arxiv.org/abs/2305.00374v2
• Date: Mon, 23 Oct 2023 12:46:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 12:53:07.280321
• Title: Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization
• Title（参考訳）: 逆不変正規化による対数コントラスト学習の促進
• Authors: Xilie Xu, Jingfeng Zhang, Feng Liu, Masashi Sugiyama, Mohan Kankanhalli
• Abstract要約: Adversarial contrastive learning (ACL)は、標準コントラスト学習(SCL)を強化する技術である。 本稿では,スタイル要因からの独立性を確保するために,逆不変正規化(AIR)を提案する。
• 参考スコア（独自算出の注目度）: 59.77647907277523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial contrastive learning (ACL) is a technique that enhances standard contrastive learning (SCL) by incorporating adversarial data to learn a robust representation that can withstand adversarial attacks and common corruptions without requiring costly annotations. To improve transferability, the existing work introduced the standard invariant regularization (SIR) to impose style-independence property to SCL, which can exempt the impact of nuisance style factors in the standard representation. However, it is unclear how the style-independence property benefits ACL-learned robust representations. In this paper, we leverage the technique of causal reasoning to interpret the ACL and propose adversarial invariant regularization (AIR) to enforce independence from style factors. We regulate the ACL using both SIR and AIR to output the robust representation. Theoretically, we show that AIR implicitly encourages the representational distance between different views of natural data and their adversarial variants to be independent of style factors. Empirically, our experimental results show that invariant regularization significantly improves the performance of state-of-the-art ACL methods in terms of both standard generalization and robustness on downstream tasks. To the best of our knowledge, we are the first to apply causal reasoning to interpret ACL and develop AIR for enhancing ACL-learned robust representations. Our source code is at https://github.com/GodXuxilie/Enhancing_ACL_via_AIR.
• Abstract（参考訳）: adversarial contrastive learning(adversarial contrastive learning、acl)は、標準のコントラスト学習(scl)を強化する手法で、敵対的なデータを組み込んで、敵対的な攻撃や共通の腐敗に耐えうる堅牢な表現を学習する。 転送性を改善するため、既存の研究は標準不変正規化(SIR)を導入し、標準表現におけるニュアンススタイル要素の影響を排除できるスタイル独立性をSCLに課した。 しかし、スタイル独立性がACLが学習したロバスト表現にどのような恩恵をもたらすかは明らかでない。 本稿では,aclを解釈するために因果推論の手法を活用し,スタイル要因からの独立を強制するために逆不変正規化(air)を提案する。 SIRとAIRの両方を用いてACLを規制し、ロバストな表現を出力する。 理論的には、AIRは、自然データの異なるビューとそれらの逆のバリエーションの間の表現距離を、スタイル要因に依存しないように暗黙的に促す。 実験の結果, 変分正規化は, 下流タスクにおける標準一般化とロバスト性の両方の観点から, 最先端の ACL 手法の性能を著しく向上させることが示された。 私たちの知る限りでは、ACLを解釈するための因果推論を最初に適用し、ACLを学習した堅牢な表現を強化するためのAIRを開発します。 ソースコードはhttps://github.com/GodXuxilie/Enhancing_ACL_via_AIRにあります。

関連論文リスト

• On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning [5.123232962822044]
  非対称非競合学習(ANCL)は、自己指導的表現学習において、対照的な学習よりも優れていることが多い。 教師付き表現学習のためのANCL(SupSiamとSupBYOL)について検討し,より優れた表現を実現するためにANCLのラベルを活用する。 分析の結果,ANCLの監督はクラス内ばらつきを低減し,最高の性能を達成するためには,監督の貢献を調整すべきであることが判明した。
  論文  参考訳（メタデータ） (2024-06-16T06:43:15Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Positional Information Matters for Invariant In-Context Learning: A Case Study of Simple Function Classes [39.08988313527199]
  インコンテキストラーニング(In-context Learning, ICL)とは、新しいクエリ入力に対する応答を生成するために、いくつかのインコンテキストデモでモデルに条件を付ける能力である。 LLMの印象的なICL能力にもかかわらず、LSMのICLは入力デモに敏感であり、短い文脈長に限定されている。
  論文  参考訳（メタデータ） (2023-11-30T02:26:55Z)
• Supervised Adversarial Contrastive Learning for Emotion Recognition in Conversations [24.542445315345464]
  本稿では,クラススプレッドの構造化表現を教師付きで学習するためのフレームワークを提案する。 ラベルレベルの機能の一貫性を効果的に活用し、クラス内でのきめ細かい機能を維持することができる。 CATを用いたフレームワークでは,ラベル一貫性とコンテキストローバスト特性を学習するためのシーケンスベースSACL-LSTMを開発した。
  論文  参考訳（メタデータ） (2023-06-02T12:52:38Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)
• When Does Contrastive Learning Preserve Adversarial Robustness from Pretraining to Finetuning? [99.4914671654374]
  本稿では,新しい逆比較事前学習フレームワークAdvCLを提案する。 本稿では,AdvCLがモデル精度と微調整効率を損なうことなく,タスク間の堅牢性伝達性を向上できることを示す。
  論文  参考訳（メタデータ） (2021-11-01T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。