論文の概要: From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2311.09974v1
- Date: Thu, 16 Nov 2023 15:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 13:38:44.096493
- Title: From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning
- Title（参考訳）: 前提から目的へ:バッチ適応型自己監督学習
- Authors: Jiansong Zhang, Peizhong Liu
- Abstract要約: 本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。
公平な比較で最先端のパフォーマンスを達成する。
提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
- 参考スコア（独自算出の注目度）: 2.713192158879508
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In recent years, self-supervised contrastive learning has emerged as a
distinguished paradigm in the artificial intelligence landscape. It facilitates
unsupervised feature learning through contrastive delineations at the instance
level. However, crafting an effective self-supervised paradigm remains a
pivotal challenge within this field. This paper delves into two crucial factors
impacting self-supervised contrastive learning-bach size and pretext tasks, and
from a data processing standpoint, proposes an adaptive technique of batch
fusion. The proposed method, via dimensionality reduction and reconstruction of
batch data, enables formerly isolated individual data to partake in intra-batch
communication through the Embedding Layer. Moreover, it adaptively amplifies
the self-supervised feature encoding capability as the training progresses. We
conducted a linear classification test of this method based on the classic
contrastive learning framework on ImageNet-1k. The empirical findings
illustrate that our approach achieves state-of-the-art performance under
equitable comparisons. Benefiting from its "plug-and-play" characteristics, we
further explored other contrastive learning methods. On the ImageNet-100,
compared to the original performance, the top1 has seen a maximum increase of
1.25%. We suggest that the proposed method may contribute to the advancement of
data-driven self-supervised learning research, bringing a fresh perspective to
this community.
- Abstract（参考訳）: 近年,人工知能の分野では,自己指導型コントラスト学習が目立ったパラダイムとなっている。
インスタンスレベルでの対照的な記述を通じて、教師なしの機能学習を容易にする。
しかし、効果的な自己管理パラダイムを構築することはこの分野において重要な課題である。
本稿では,自己指導型コントラスト学習とプレテキストタスクに影響を及ぼす2つの重要な要因と,データ処理の観点からバッチ融合の適応的手法を提案する。
提案手法は, バッチデータの次元的縮小と再構成により, 従来分離されていた個別データの組込み層を介したバッチ内通信が可能となる。
さらに、訓練が進むにつれて、自己教師付き特徴符号化能力を適応的に増幅する。
本研究では,imagenet-1kを用いた古典的コントラスト学習フレームワークを用いた線形分類テストを行った。
実験により,本手法が等価比較条件下での最先端性能を実現することを示す。
この「プラグ・アンド・プレイ」の特徴から,他のコントラスト学習手法についても検討した。
ImageNet-100では、オリジナルのパフォーマンスと比較して、トップ1は最大1.25%増加した。
提案手法は,データ駆動型自己監督学習研究の進展に寄与する可能性があり,コミュニティに新たな視点をもたらすと考えられる。
関連論文リスト
- Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。
単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
論文 参考訳（メタデータ） (2024-10-10T10:20:16Z) - Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - CUCL: Codebook for Unsupervised Continual Learning [129.91731617718781]
本研究は,教師なし連続学習(UCL)の代替として,教師なし連続学習(UCL)に焦点を当てている。
本稿では,教師なし連続学習のためのCodebook for Unsupervised Continual Learning (CUCL) という手法を提案する。
本手法は教師なしおよび教師なしの手法の性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-25T03:08:50Z) - Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。
我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。
提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文 参考訳（メタデータ） (2022-11-18T02:00:17Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。
自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。
本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
論文 参考訳（メタデータ） (2021-07-05T03:53:42Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。
ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文 参考訳（メタデータ） (2020-11-18T08:42:32Z) - A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。
コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。
本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文 参考訳（メタデータ） (2020-10-31T21:05:04Z) - Self-supervised Co-training for Video Representation Learning [103.69904379356413]
実例に基づく情報ノイズコントラスト推定訓練に意味クラス正の付加を施すことの利点について検討する。
本稿では,インフォネッションNCEの損失を改善するための,自己指導型協調学習手法を提案する。
本研究では,2つの下流タスク(行動認識とビデオ検索)における学習表現の質を評価する。
論文 参考訳（メタデータ） (2020-10-19T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。