Fugu-MT 論文翻訳(概要): Adversarial Contrastive Self-Supervised Learning

論文の概要: Adversarial Contrastive Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2202.13072v1
Date: Sat, 26 Feb 2022 05:57:45 GMT
ステータス: 処理完了
システム内更新日: 2022-03-01 14:30:33.695858
Title: Adversarial Contrastive Self-Supervised Learning
Title（参考訳）: 対人コントラスト型自己監督学習
Authors: Wentao Zhu, Hang Shang, Tingxun Lv, Chao Liao, Sen Yang, Ji Liu
Abstract要約: オンライン・ハード・ネガティブ・ペア・マイニングに基づく自己教師型深層学習パラダイムを提案する。正の試料対と固負の試料対の両方を考慮した新しい三重項類似の損失を導出した。
参考スコア（独自算出の注目度）: 13.534367890379853
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, learning from vast unlabeled data, especially self-supervised learning, has been emerging and attracted widespread attention. Self-supervised learning followed by the supervised fine-tuning on a few labeled examples can significantly improve label efficiency and outperform standard supervised training using fully annotated data. In this work, we present a novel self-supervised deep learning paradigm based on online hard negative pair mining. Specifically, we design a student-teacher network to generate multi-view of the data for self-supervised learning and integrate hard negative pair mining into the training. Then we derive a new triplet-like loss considering both positive sample pairs and mined hard negative sample pairs. Extensive experiments demonstrate the effectiveness of the proposed method and its components on ILSVRC-2012.
Abstract（参考訳）: 近年,ラベルのない膨大なデータ,特に自己教師あり学習からの学習が注目されている。ラベル付きサンプルの教師付き微調整による自己教師付き学習は、ラベルの効率を大幅に向上させ、完全な注釈付きデータを用いた標準教師付きトレーニングより優れている。本稿では,オンラインのハードネガティブペアマイニングに基づく,新しい自己教師付きディープラーニングパラダイムを提案する。具体的には、自己教師型学習のためのデータのマルチビューを生成し、ハードネガティブなペアマイニングをトレーニングに統合する学生-教師ネットワークを設計する。次に、正のサンプル対と鉱山の硬い負のサンプル対の両方を考慮した新しい三重項的損失を導出する。 ILSVRC-2012において,提案手法とその構成成分の有効性を実証した。

関連論文リスト

Time-Series Contrastive Learning against False Negatives and Class Imbalance [19.049773287966072]
我々は理論分析を行い、それらが基本的な問題、つまりInfoNCEの損失に基づくフレームワークに固有の偽陰性とクラス不均衡を見落としていることを発見した。インスタンス識別タスクに携わるモデルに対して,SimCLRフレームワークに根ざした直感的な修正を導入する。半教師付き一貫性分類を行い、マイノリティクラスの代表的能力を高める。
論文参考訳（メタデータ） (2023-12-19T08:38:03Z)
Responsible Active Learning via Human-in-the-loop Peer Study [88.01358655203441]
我々は,データプライバシを同時に保持し,モデルの安定性を向上させるために,Pear Study Learning (PSL) と呼ばれる責任あるアクティブラーニング手法を提案する。まず,クラウドサイドのタスク学習者(教師)から未学習データを分離する。トレーニング中、タスク学習者は軽量なアクティブ学習者に指示し、アクティブサンプリング基準に対するフィードバックを提供する。
論文参考訳（メタデータ） (2022-11-24T13:18:27Z)
Contrastive Learning with Boosted Memorization [36.957895270908324]
自己教師付き学習は、視覚的およびテキスト的データの表現学習において大きな成功を収めた。近年の自己指導型長期学習の試行は、損失視点やモデル視点の再バランスによって行われる。本稿では,ラベルを意識しないコンテキストにおける長期学習を強化するために,新しいBCL法を提案する。
論文参考訳（メタデータ） (2022-05-25T11:54:22Z)
Reducing Label Effort: Self-Supervised meets Active Learning [32.4747118398236]
自己学習の最近の進歩は、いくつかのデータセットで教師付き学習に匹敵する非常に印象的な成果を上げている。実験の結果, 自己学習は, ラベル付け作業の削減において, 積極的学習よりも極めて効率的であることが判明した。自己学習またはスクラッチでトレーニングされたアクティブラーニングのパフォーマンスギャップは、データセットのほぼ半分がラベル付けされた時点に近づくにつれて減少します。
論文参考訳（メタデータ） (2021-08-25T20:04:44Z)
Co-learning: Learning from Noisy Labels with Self-supervision [28.266156561454327]
自己教師付き学習はラベルのない状態で機能し、ノイズラベルの負の影響を排除します。教師付き学習と自己監督型学習の両方の視点で協調学習を行うことで、ノイズラベルを用いた学習のためのコラーニングという、シンプルで効果的な方法を提案する。
論文参考訳（メタデータ） (2021-08-05T06:20:51Z)
Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering [71.15403434929915]
視覚的質問応答のタスクにおいて、5つのモデルと4つのデータセットにまたがって、多種多様な能動的学習アプローチがランダム選択を上回りません。アクティブな学習手法が好まれるが、モデルは学習に失敗する例の集まりである。本研究では,アクティブ学習プールにおける集団外乱の減少に伴い,アクティブ学習サンプル効率が著しく向上することを示す。
論文参考訳（メタデータ） (2021-07-06T00:52:11Z)
Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文参考訳（メタデータ） (2021-06-07T15:29:14Z)
Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
既存のコントラスト学習法は、非常に低い学習効率に苦しむ。アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-04-18T07:47:10Z)
Probing Negative Sampling Strategies to Learn GraphRepresentations via Unsupervised Contrastive Learning [4.909151538536424]
グラフ表現学習は長い間、さまざまな現実世界のアプリケーションにとって重要かつ困難なタスクでした。本稿では,教師なしコントラスト学習の最近の進歩に触発されて,ノード毎のコントラスト学習の実施方法について検討する。
論文参考訳（メタデータ） (2021-04-13T15:53:48Z)
Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
論文参考訳（メタデータ） (2021-03-02T17:47:58Z)
Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。