Fugu-MT 論文翻訳(概要): Mixture of Self-Supervised Learning

論文の概要: Mixture of Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2307.14897v1
Date: Thu, 27 Jul 2023 14:38:32 GMT
ステータス: 処理完了
システム内更新日: 2023-07-28 14:22:09.539909
Title: Mixture of Self-Supervised Learning
Title（参考訳）: 自己指導型学習の混合
Authors: Aristo Renaldo Ruslim, Novanto Yudistira, Budi Darma Setiawan
Abstract要約: 自己教師型学習は、特定のタスクに適用される前にモデル上でトレーニングされるプレテキストタスクを使用することで機能する。従来の研究では、プリテキストタスクとして1つのタイプの変換しか使用されていなかった。これにより、複数のプリテキストタスクが使用されているかどうか、すべてのプリテキストタスクを組み合わせるためにゲーティングネットワークを使用するかどうか、という疑問が持ち上がる。
参考スコア（独自算出の注目度）: 2.191505742658975
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Self-supervised learning is popular method because of its ability to learn features in images without using its labels and is able to overcome limited labeled datasets used in supervised learning. Self-supervised learning works by using a pretext task which will be trained on the model before being applied to a specific task. There are some examples of pretext tasks used in self-supervised learning in the field of image recognition, namely rotation prediction, solving jigsaw puzzles, and predicting relative positions on image. Previous studies have only used one type of transformation as a pretext task. This raises the question of how it affects if more than one pretext task is used and to use a gating network to combine all pretext tasks. Therefore, we propose the Gated Self-Supervised Learning method to improve image classification which use more than one transformation as pretext task and uses the Mixture of Expert architecture as a gating network in combining each pretext task so that the model automatically can study and focus more on the most useful augmentations for classification. We test performance of the proposed method in several scenarios, namely CIFAR imbalance dataset classification, adversarial perturbations, Tiny-Imagenet dataset classification, and semi-supervised learning. Moreover, there are Grad-CAM and T-SNE analysis that are used to see the proposed method for identifying important features that influence image classification and representing data for each class and separating different classes properly. Our code is in https://github.com/aristorenaldo/G-SSL
Abstract（参考訳）: 自己教師付き学習は、ラベルを使わずに画像の特徴を学習でき、教師付き学習で使用される限られたラベル付きデータセットを克服できるため、一般的な方法である。自己教師付き学習は、特定のタスクに適用される前にモデルでトレーニングされるプリテキストタスクを使用することで機能する。画像認識の分野における自己教師あり学習において、例えば回転予測、ジグソーパズルの解解、画像上の相対位置の予測などに用いられるプリテキストタスクの例がある。以前の研究では、プリテキストタスクとして1つのタイプの変換しか使用していなかった。これは、複数のプリテキストタスクが使用されるかどうか、そしてすべてのプリテキストタスクを結合するためにゲーティングネットワークを使用するかにどのように影響するかという疑問を提起する。そこで本研究では,複数の変換をプリテキストタスクとして用いた画像分類を改良するGated Self-Supervised Learning法を提案し,各プリテキストタスクを組み合わせる際に,Mixture of Expertアーキテクチャをゲーティングネットワークとして使用することにより,モデルが自動的に学習し,より有用な分類拡張に集中できるようにする。提案手法の性能は,CIFARの不均衡データセット分類,逆摂動,Tiny-Imagenetデータセット分類,半教師付き学習など,いくつかのシナリオで検証する。さらに,画像分類に影響を及ぼす重要な特徴を識別し,各クラスのデータを適切に分離する手法として,Grad-CAMおよびT-SNE分析がある。私たちのコードはhttps://github.com/aristorenaldo/G-SSLにあります

関連論文リスト

Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
論文参考訳（メタデータ） (2024-05-06T02:02:57Z)
MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。所望のプロパティを統一する単段および単段のMOCAを提案する。我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文参考訳（メタデータ） (2023-07-18T15:46:20Z)
Learning Transferable Pedestrian Representation from Multimodal Information Supervision [174.5150760804929]
VAL-PATは、移動可能な表現を学習し、様々な歩行者分析タスクをマルチモーダル情報で強化する新しいフレームワークである。まず、LUPerson-TAデータセットで事前トレーニングを行い、各画像にはテキストと属性アノテーションが含まれている。次に、学習した表現を、人物のreID、人物属性認識、テキストベースの人物検索など、さまざまな下流タスクに転送する。
論文参考訳（メタデータ） (2023-04-12T01:20:58Z)
Self-Supervised Learning for Fine-Grained Image Classification [0.0]
きめ細かいデータセットは通常、分類プロセスを支援するために、クラスラベルとともにバウンディングボックスアノテーションを提供する。一方、自己教師付き学習では、自由に利用可能なデータを利用してラベルとして機能する監視信号を生成する。我々の考えは、モデルが微細な画像クラスの有用な表現を学習できるように、自己スーパービジョンを活用することである。
論文参考訳（メタデータ） (2021-07-29T14:01:31Z)
Rectifying the Shortcut Learning of Background: Shared Object Concentration for Few-Shot Image Recognition [101.59989523028264]
Few-Shot画像分類は、大規模なデータセットから学んだ事前学習された知識を利用して、一連の下流分類タスクに取り組むことを目的としている。本研究では,Few-Shot LearningフレームワークであるCOSOCを提案する。
論文参考訳（メタデータ） (2021-07-16T07:46:41Z)
Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning [0.0]
本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
論文参考訳（メタデータ） (2021-07-08T10:54:59Z)
Learning to Focus: Cascaded Feature Matching Network for Few-shot Image Recognition [38.49419948988415]
ディープネットワークは、多数の画像でトレーニングすることで、カテゴリのオブジェクトを正確に認識することを学ぶことができる。低ショット画像認識タスク(low-shot image recognition task)として知られるメタラーニングの課題は、1つのカテゴリの認識モデルを学ぶためにアノテーション付き画像しか利用できない場合に発生する。この問題を解決するため,Cascaded Feature Matching Network (CFMN) と呼ばれる手法を提案する。 EmphminiImageNet と Omniglot の2つの標準データセットを用いた数ショット学習実験により,本手法の有効性が確認された。
論文参考訳（メタデータ） (2021-01-13T11:37:28Z)
Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文参考訳（メタデータ） (2020-09-08T07:29:05Z)
SCAN: Learning to Classify Images without Labels [73.69513783788622]
機能学習とクラスタリングを分離する2段階のアプローチを提唱する。表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
論文参考訳（メタデータ） (2020-05-25T18:12:33Z)
Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文参考訳（メタデータ） (2020-04-14T16:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。