論文の概要: Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection

• arxiv url: http://arxiv.org/abs/2302.03857v5
• Date: Thu, 26 Oct 2023 09:15:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 05:31:47.689136
• Title: Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection
• Title（参考訳）: ロバストネスを考慮したコアセット選択による効率よい対人コントラスト学習
• Authors: Xilie Xu, Jingfeng Zhang, Feng Liu, Masashi Sugiyama, Mohan Kankanhalli
• Abstract要約: 敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
• 参考スコア（独自算出の注目度）: 59.77647907277523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial contrastive learning (ACL) does not require expensive data annotations but outputs a robust representation that withstands adversarial attacks and also generalizes to a wide range of downstream tasks. However, ACL needs tremendous running time to generate the adversarial variants of all training data, which limits its scalability to large datasets. To speed up ACL, this paper proposes a robustness-aware coreset selection (RCS) method. RCS does not require label information and searches for an informative subset that minimizes a representational divergence, which is the distance of the representation between natural data and their virtual adversarial variants. The vanilla solution of RCS via traversing all possible subsets is computationally prohibitive. Therefore, we theoretically transform RCS into a surrogate problem of submodular maximization, of which the greedy search is an efficient solution with an optimality guarantee for the original problem. Empirically, our comprehensive results corroborate that RCS can speed up ACL by a large margin without significantly hurting the robustness transferability. Notably, to the best of our knowledge, we are the first to conduct ACL efficiently on the large-scale ImageNet-1K dataset to obtain an effective robust representation via RCS. Our source code is at https://github.com/GodXuxilie/Efficient_ACL_via_RCS.
• Abstract（参考訳）: ACL(Adversarial contrastive Learning)は、高価なデータアノテーションを必要としないが、敵攻撃に耐える堅牢な表現を出力し、幅広い下流タスクに一般化する。 しかし、ACLは、すべてのトレーニングデータの逆の変種を生成するために、膨大な実行時間を必要とします。 ACLを高速化するために,ロバストネス対応コアセット選択法(RCS)を提案する。 RCSはラベル情報を必要とせず、自然なデータとその仮想逆数との表現の距離である表現の発散を最小限に抑える情報的サブセットを検索する。 すべての可能な部分集合をトラバースするRCSのバニラ解は計算的に禁じられている。 そこで, 理論上はrcsをサブモジュラー最大化のサロゲート問題に変換し, グリーディ探索は元の問題に対して最適性を保証する効率的な解である。 実験的な結果から、RCSはロバスト性伝達性を著しく損なうことなく、大きなマージンでACLを高速化できることを示す。 特に,我々の知る限りでは,大規模な ImageNet-1K データセット上で ACL を効率的に実行し,RCS による効率的なロバスト表現を実現するのは初めてである。 ソースコードはhttps://github.com/GodXuxilie/Efficient_ACL_via_RCSにあります。

関連論文リスト

• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [63.98380888730723]
  本稿では, Convolutional Transformer Layer (ConvFormer) と ConvFormer-based Super-Resolution Network (CFSR) を紹介する。 CFSRは、計算コストの少ない長距離依存と広範囲の受容場を効率的にモデル化する。 これは、x2 SRタスクのUrban100データセットで0.39dB、パラメータが26%、FLOPが31%減少している。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization [59.77647907277523]
  Adversarial contrastive learning (ACL)は、標準コントラスト学習(SCL)を強化する技術である。 本稿では,スタイル要因からの独立性を確保するために,逆不変正規化(AIR)を提案する。
  論文  参考訳（メタデータ） (2023-04-30T03:12:21Z)
• TransCL: Transformer Makes Strong and Flexible Compressive Learning [11.613886854794133]
  圧縮学習(Compressive Learning, CL)は、圧縮センシング(CS)による信号取得と、少数の測定に基づいて直接推論タスクを行う機械学習を統合する新興フレームワークである。 CLの以前の試みはCS比の固定に留まらず、MNIST/CIFARのようなデータセットに限られており、複雑な現実世界の高解像度(HR)データやビジョンタスクにスケールしない。 本稿では,トランスCLと呼ばれる任意のCS比を持つ大規模画像を対象とした,トランスフォーマーに基づく新しい圧縮学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-25T08:21:48Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)
• Adversarial Representation Learning With Closed-Form Solvers [29.933607957877335]
  既存の手法では、下降勾配を通じてモデルパラメータを反復的に学習するが、実際には不安定で信頼できないことが多い。 我々はそれらをカーネルリッジ回帰器としてモデル化し、表現の最適次元について上界を解析的に決定する。 我々のソリューションは OptNet-ARL と呼ばれ、安定なワンショット最適化問題に還元され、確実かつ効率的に解決できる。
  論文  参考訳（メタデータ） (2021-09-12T15:12:23Z)
• On Coresets for Support Vector Machines [61.928187390362176]
  coresetは、元のデータポイントの小さな、代表的なサブセットである。 我々は,本アルゴリズムを用いて,既製のSVMソルバをストリーミング,分散,動的データ設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-15T23:25:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。