Fugu-MT 論文翻訳(概要): AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss

論文の概要: AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss

arxiv url: http://arxiv.org/abs/2009.07994v2
Date: Tue, 20 Oct 2020 08:15:20 GMT
ステータス: 処理完了
システム内更新日: 2022-10-17 08:43:56.683865
Title: AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss
Title（参考訳）: AAG: GNT-Xent Lossによる補助強化による自己改善型表現学習
Authors: Yanlun Tu, Jianxing Feng, Yang Yang
Abstract要約: 補助増強は、画像の多様性を増大させることで、コントラスト学習のパフォーマンスを向上させることができる。 AAGは、バッチサイズ64のCIFAR10で94.5%のトップ-1の精度を達成し、バッチサイズ1024のSimCLRの最高値より0.5%高い。
参考スコア（独自算出の注目度）: 4.963873753600395
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised representation learning is an emerging research topic for its powerful capacity in learning with unlabeled data. As a mainstream self-supervised learning method, augmentation-based contrastive learning has achieved great success in various computer vision tasks that lack manual annotations. Despite current progress, the existing methods are often limited by extra cost on memory or storage, and their performance still has large room for improvement. Here we present a self-supervised representation learning method, namely AAG, which is featured by an auxiliary augmentation strategy and GNT-Xent loss. The auxiliary augmentation is able to promote the performance of contrastive learning by increasing the diversity of images. The proposed GNT-Xent loss enables a steady and fast training process and yields competitive accuracy. Experiment results demonstrate the superiority of AAG to previous state-of-the-art methods on CIFAR10, CIFAR100, and SVHN. Especially, AAG achieves 94.5% top-1 accuracy on CIFAR10 with batch size 64, which is 0.5% higher than the best result of SimCLR with batch size 1024.
Abstract（参考訳）: 自己監督型表現学習は、ラベルのないデータで学習する能力を持つ、新たな研究テーマである。主流の自己指導型学習手法として,マニュアルアノテーションを欠いたコンピュータビジョンタスクにおいて,拡張型コントラスト学習は大きな成功を収めている。現在の進歩にもかかわらず、既存の手法はメモリやストレージの余分なコストによって制限されることが多く、その性能は改善の余地も大きい。本稿では,補助増強戦略とGNT-Xent損失を特徴とする自己教師付き表現学習手法,すなわちAAGを提案する。補助増強は、画像の多様性を増大させることで、コントラスト学習の性能を高めることができる。提案するgnt-xent損失は,定常的かつ高速なトレーニングプロセスを可能にし,競合精度をもたらす。 CIFAR10, CIFAR100, SVHNにおける従来の最先端手法よりもAAGの方が優れていることを示す実験結果が得られた。特に、AAGは、バッチサイズ64のCIFAR10上で94.5%のトップ-1の精度を達成しており、バッチサイズ1024のSimCLRの最高結果より0.5%高い。

関連論文リスト

EXACFS -- A CIL Method to mitigate Catastrophic Forgetting [3.2562590728737058]
本稿では,クラスインクリメンタルな学習環境においてこの問題を軽減するために,Exponentially Averaged Class-wise Feature Significance (EXACFS)を提案する。 CIFAR-100とImageNet-100の実験は、可塑性を取得しながら安定性を維持するEXACFSの優れた性能を示した。
論文参考訳（メタデータ） (2024-10-31T09:11:56Z)
Disentangled Generative Graph Representation Learning [51.59824683232925]
本稿では,自己教師型学習フレームワークであるDiGGR(Disentangled Generative Graph Representation Learning)を紹介する。潜伏要因を学習し、それをグラフマスクモデリングのガイドとして活用することを目的としている。 2つの異なるグラフ学習タスクのための11の公開データセットの実験は、DiGGRが従来よりも一貫して多くの自己教師付きメソッドを上回っていることを示している。
論文参考訳（メタデータ） (2024-08-24T05:13:02Z)
Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文参考訳（メタデータ） (2023-11-16T09:07:34Z)
Efficient Representation Learning for Healthcare with Cross-Architectural Self-Supervision [5.439020425819001]
この課題に対応するために、クロスアーキテクチャー・セルフスーパービジョン(CASS)を紹介します。そこで,CASSで訓練されたCNNとTransformerは,4つの多様な医療データセットにおいて,既存の自己教師型学習方法よりも優れていることを示す。また、CASSはバッチサイズの変化やエポックの事前訓練にかなり堅牢であることを示し、医療アプリケーションにおける機械学習の候補として適している。
論文参考訳（メタデータ） (2023-08-19T15:57:19Z)
Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文参考訳（メタデータ） (2022-11-18T02:00:17Z)
To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
論文参考訳（メタデータ） (2021-09-04T02:45:22Z)
Hierarchical Self-supervised Augmented Knowledge Distillation [1.9355744690301404]
本稿では,ネットワークを誘導し,本来の認識タスクと自己教師付き補助タスクの共分散を学習するための,新たな自己教師型拡張タスクを提案する。正規分類能力を失うことなく、表現力を向上させるためのより豊かな知識として実証される。 CIFAR-100では平均2.56%,ImageNetでは0.77%向上した。
論文参考訳（メタデータ） (2021-07-29T02:57:21Z)
Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文参考訳（メタデータ） (2020-07-17T15:50:34Z)
A Comprehensive Approach to Unsupervised Embedding Learning based on AND Algorithm [18.670975246545208]
教師なしの埋め込み学習は、手動ラベルを必要とせずに、データから優れた表現を抽出することを目的としている。本稿では,現在の最先端モデルを拡張したSuper-ANDと呼ばれる非教師なしの埋め込み手法を提案する。 Super-ANDは既存の全てのアプローチを上回り、CIFAR-10の画像分類タスクで89.2%の精度を達成する。
論文参考訳（メタデータ） (2020-02-26T13:22:04Z)
A Simple Framework for Contrastive Learning of Visual Representations [116.37752766922407]
本稿では,視覚表現のコントラスト学習のためのシンプルなフレームワークであるSimCLRについて述べる。我々は,データ拡張の構成が効果的な予測タスクを定義する上で重要な役割を担っていることを示す。我々は、ImageNet上での自己教師付き半教師付き学習において、従来の手法よりもかなり優れています。
論文参考訳（メタデータ） (2020-02-13T18:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。