Fugu-MT 論文翻訳(概要): Visual Transformer for Task-aware Active Learning

論文の概要: Visual Transformer for Task-aware Active Learning

arxiv url: http://arxiv.org/abs/2106.03801v1
Date: Mon, 7 Jun 2021 17:13:59 GMT
ステータス: 処理完了
システム内更新日: 2021-06-08 18:42:17.098796
Title: Visual Transformer for Task-aware Active Learning
Title（参考訳）: タスク認識アクティブラーニングのための視覚トランスフォーマー
Authors: Razvan Caramalau, Binod Bhattarai, Tae-Kyun Kim
Abstract要約: プールベースのアクティブラーニングのための新しいパイプラインを提案する。提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
参考スコア（独自算出の注目度）: 49.903358393660724
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pool-based sampling in active learning (AL) represents a key framework for an-notating informative data when dealing with deep learning models. In this paper, we present a novel pipeline for pool-based Active Learning. Unlike most previous works, our method exploits accessible unlabelled examples during training to estimate their co-relation with the labelled examples. Another contribution of this paper is to adapt Visual Transformer as a sampler in the AL pipeline. Visual Transformer models non-local visual concept dependency between labelled and unlabelled examples, which is crucial to identifying the influencing unlabelled examples. Also, compared to existing methods where the learner and the sampler are trained in a multi-stage manner, we propose to train them in a task-aware jointly manner which enables transforming the latent space into two separate tasks: one that classifies the labelled examples; the other that distinguishes the labelling direction. We evaluated our work on four different challenging benchmarks of classification and detection tasks viz. CIFAR10, CIFAR100,FashionMNIST, RaFD, and Pascal VOC 2007. Our extensive empirical and qualitative evaluations demonstrate the superiority of our method compared to the existing methods. Code available: https://github.com/razvancaramalau/Visual-Transformer-for-Task-aware-Active-Learning
Abstract（参考訳）: Pool-based sample in active learning (AL) は、ディープラーニングモデルを扱う際の通知データのための重要なフレームワークである。本稿では,プール型アクティブラーニングのための新しいパイプラインを提案する。従来の研究と異なり,本手法は学習中に使用可能な未使用例を利用してラベル付き例と相関関係を推定する。この論文のもうひとつの貢献は、ALパイプラインのサンプルとしてVisual Transformerを適用することだ。視覚トランスフォーマーはラベル付き例とラベル付き例の間の非局所的な視覚概念依存性をモデル化する。また,学習者やサンプル者が多段階的に学習する既存の手法と比較して,ラベル付き例を分類するタスクと,ラベル付き例を区別するタスクと,ラベル付け方向を区別するタスクとを協調的に学習する手法を提案する。分類と検出タスクの4つの難解なベンチマークについて評価した。 CIFAR10、CIFAR100、FashionMNIST、RaFD、Pascal VOC 2007。実験的および定性的な評価は,既存手法と比較して,本手法の優位性を示すものである。コード提供:https://github.com/razvancaramalau/Visual-Transformer-for-Task-aware-Active-Learning

関連論文リスト

With a Little Help from your own Past: Prototypical Memory Networks for Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文参考訳（メタデータ） (2023-08-23T18:53:00Z)
MoBYv2AL: Self-supervised Active Learning for Image Classification [57.4372176671293]
画像分類のための自己教師型アクティブラーニングフレームワークであるMoBYv2ALを提案する。私たちの貢献は、最も成功した自己教師付き学習アルゴリズムであるMoBYをALパイプラインに持ち上げることです。近年のAL法と比較すると,最先端の結果が得られている。
論文参考訳（メタデータ） (2023-01-04T10:52:02Z)
Spatial Cross-Attention Improves Self-Supervised Visual Representation Learning [5.085461418671174]
サンプル間の空間的相互相関を考慮に入れた知識の注入を容易にするアドオンモジュールを提案する。これにより、特徴レベルの位置や同クラスのインスタンス間の相互類似性を含むクラス内情報を蒸留することが可能になる。
論文参考訳（メタデータ） (2022-06-07T21:14:52Z)
CoCon: Cooperative-Contrastive Learning [52.342936645996765]
自己教師付き視覚表現学習は効率的な映像分析の鍵である。最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
論文参考訳（メタデータ） (2021-04-30T05:46:02Z)
Few-shot Sequence Learning with Transformers [79.87875859408955]
少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-12-17T12:30:38Z)
A Survey on Contrastive Self-supervised Learning [0.0]
自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
論文参考訳（メタデータ） (2020-10-31T21:05:04Z)
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances [77.28192419848901]
コントラストシフトインスタンス (CSI) という,単純かつ効果的な手法を提案する。従来のコントラスト学習法のように,サンプルを他の例と対比することに加えて,本トレーニング手法では,サンプルを分散シフトによる拡張と対比する。本実験は, 種々の新規検出シナリオにおける本手法の優位性を実証する。
論文参考訳（メタデータ） (2020-07-16T08:32:56Z)
Meta-Learning for One-Class Classification with Few Examples using Order-Equivariant Network [1.08890978642722]
本稿では,テスト時に数発のワンクラス分類(OCC)を行うフレームワークを提案する。我々は,各タスクに対して,少数の肯定的な例しか持たない,一級分類の客観的タスクの集合があるとみなす。そこで我々は'meta'二項分類器を学習するために,オーダー等価ネットワークを用いたアプローチを提案する。
論文参考訳（メタデータ） (2020-07-08T22:33:09Z)
UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。本稿では,直感的かつ統一的な半教師付きモデルを提案する。
論文参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。