論文の概要: Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework

• arxiv url: http://arxiv.org/abs/2112.04468v1
• Date: Wed, 8 Dec 2021 18:54:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 14:32:48.719781
• Title: Revisiting Contrastive Learning through the Lens of Neighborhood Component Analysis: an Integrated Framework
• Title（参考訳）: 近距離成分分析レンズによるコントラスト学習の再検討:統合フレームワーク
• Authors: Ching-Yun Ko, Jeet Mohapatra, Sijia Liu, Pin-Yu Chen, Luca Daniel, Lily Weng
• Abstract要約: 下流タスクにおいて高い精度とロバスト性を同時に達成できるような、統合されたコントラスト損失を設計するための新しい手法を示す。 統合フレームワークでは,標準精度が最大6%向上し,対角精度が17%向上した。
• 参考スコア（独自算出の注目度）: 70.84906094606072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a seminal tool in self-supervised representation learning, contrastive learning has gained unprecedented attention in recent years. In essence, contrastive learning aims to leverage pairs of positive and negative samples for representation learning, which relates to exploiting neighborhood information in a feature space. By investigating the connection between contrastive learning and neighborhood component analysis (NCA), we provide a novel stochastic nearest neighbor viewpoint of contrastive learning and subsequently propose a series of contrastive losses that outperform the existing ones. Under our proposed framework, we show a new methodology to design integrated contrastive losses that could simultaneously achieve good accuracy and robustness on downstream tasks. With the integrated framework, we achieve up to 6\% improvement on the standard accuracy and 17\% improvement on the adversarial accuracy.
• Abstract（参考訳）: 近年,自己指導型表現学習のセミナルツールとして,コントラスト学習が注目されている。 本質的には、対比学習(con contrastive learning)は、表現学習のための正と負のサンプルのペアを活用することを目的としている。 コントラスト学習と近傍成分分析(nca)の関連を調べることにより,新しい確率的近近距離のコントラスト学習の視点を提案し,その結果,既存のものよりも優れるコントラスト損失のシリーズを提案する。 提案手法では,下流タスクにおいて高い精度とロバスト性を同時に達成できるコントラスト損失を総合的に設計する新しい手法を提案する。 統合フレームワークにより,標準精度が最大6\%向上し,逆精度が17\%向上した。

関連論文リスト

• Time-Series Contrastive Learning against False Negatives and Class Imbalance [17.43801009251228]
  我々は理論分析を行い、それらが基本的な問題、つまりInfoNCEの損失に基づくフレームワークに固有の偽陰性とクラス不均衡を見落としていることを発見した。 インスタンス識別タスクに携わるモデルに対して,SimCLRフレームワークに根ざした直感的な修正を導入する。 半教師付き一貫性分類を行い、マイノリティクラスの代表的能力を高める。
  論文  参考訳（メタデータ） (2023-12-19T08:38:03Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Contrastive Bayesian Analysis for Deep Metric Learning [30.21464199249958]
  特徴的類似性によって条件付けられた画像ラベルの後方確率を特徴付け,モデル化するために,コントラッシブなベイズ解析を開発した。 この対照的なベイズ解析は、深い計量学習のための新しい損失関数をもたらす。 実験結果とアブレーション実験により,提案手法は深層学習の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-10-10T02:24:21Z)
• PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack [73.3371797787823]
  逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。 本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。 提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
  論文  参考訳（メタデータ） (2022-09-14T22:58:31Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Contrastive Domain Adaptation [4.822598110892847]
  コントラスト学習を新しいドメイン適応設定に拡張することを提案する。 比較学習は、教師なしの環境で正と負の2組のサンプルを比較して比較することで学習する。 ドメイン適応問題に対処する上で有効な,最近提案されたコントラスト学習フレームワークのバリエーションを開発した。
  論文  参考訳（メタデータ） (2021-03-26T13:55:19Z)
• Towards Robust Graph Contrastive Learning [7.193373053157517]
  学習した表現の対比堅牢性を高める新しい方法を紹介します。 予備実験で得られた表現を評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2021-02-25T18:55:15Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• On Mutual Information in Contrastive Learning for Visual Representations [19.136685699971864]
  視覚における「対照的」学習アルゴリズムは、伝達タスクにおいて非常によく機能する表現を学ぶために示されている。 このアルゴリズムの族は、画像の2つ以上の「ビュー」間の相互情報の低境界を最大化する。 負のサンプルとビューの選択は、これらのアルゴリズムの成功に不可欠である。
  論文  参考訳（メタデータ） (2020-05-27T04:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。