論文の概要: Multi-Pretext Attention Network for Few-shot Learning with
Self-supervision
- arxiv url: http://arxiv.org/abs/2103.05985v1
- Date: Wed, 10 Mar 2021 10:48:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 14:52:35.726414
- Title: Multi-Pretext Attention Network for Few-shot Learning with
Self-supervision
- Title（参考訳）: セルフスーパービジョンによるフェーショット学習のためのマルチプレテキストアテンションネットワーク
- Authors: Hainan Li, Renshuai Tao, Jun Li, Haotong Qin, Yifu Ding, Shuo Wang and
Xianglong Liu
- Abstract要約: 補助的なサンプルに依存しない自己教師付き学習のための,新しい拡張不要な手法を提案する。
さらに,従来の拡張信頼手法とGCを組み合わせるために,特定の注意機構を利用するマルチテキスト注意ネットワーク(MAN)を提案する。
miniImageNetおよびtieredImageNetデータセット上でMANを幅広く評価し、提案手法が最新(SOTA)関連手法より優れていることを実証した。
- 参考スコア（独自算出の注目度）: 37.6064643502453
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Few-shot learning is an interesting and challenging study, which enables
machines to learn from few samples like humans. Existing studies rarely exploit
auxiliary information from large amount of unlabeled data. Self-supervised
learning is emerged as an efficient method to utilize unlabeled data. Existing
self-supervised learning methods always rely on the combination of geometric
transformations for the single sample by augmentation, while seriously neglect
the endogenous correlation information among different samples that is the same
important for the task. In this work, we propose a Graph-driven Clustering
(GC), a novel augmentation-free method for self-supervised learning, which does
not rely on any auxiliary sample and utilizes the endogenous correlation
information among input samples. Besides, we propose Multi-pretext Attention
Network (MAN), which exploits a specific attention mechanism to combine the
traditional augmentation-relied methods and our GC, adaptively learning their
optimized weights to improve the performance and enabling the feature extractor
to obtain more universal representations. We evaluate our MAN extensively on
miniImageNet and tieredImageNet datasets and the results demonstrate that the
proposed method outperforms the state-of-the-art (SOTA) relevant methods.
- Abstract（参考訳）: 少ないショット学習は興味深い、そして難しい研究であり、機械は人間のような少数のサンプルから学習することができる。
既存の研究では、大量のラベルのないデータから補助情報を利用することは滅多にない。
教師なし学習はラベルなしデータを利用する効率的な手法として出現する。
既存の自己教師あり学習法は、常に増補によって単一のサンプルの幾何学的変換の組み合わせに依存するが、タスクにとって同じ重要な異なるサンプル間の内在的相関情報を真剣に無視する。
本研究では,補助サンプルに依存しず,入力サンプル間の内在的相関情報を利用する,自己教師付き学習のための新しい拡張フリー手法であるグラフ駆動クラスタリング(gc)を提案する。
さらに,従来の拡張信頼手法とGCを組み合わせた特定の注意機構を利用して,最適化した重みを適応的に学習し,性能を向上し,特徴抽出器がより普遍的な表現を得られるようにするマルチテキスト注意ネットワーク(MAN)を提案する。
miniImageNetおよびtieredImageNetデータセット上でMANを幅広く評価し、提案手法が最新(SOTA)関連手法より優れていることを実証した。
関連論文リスト
- Multimodal Information Bottleneck for Deep Reinforcement Learning with Multiple Sensors [10.454194186065195]
強化学習はロボット制御タスクにおいて有望な成果を上げてきたが、情報の有効活用に苦慮している。
最近の研究は、複数の感覚入力から関節表現を抽出するために、再構成や相互情報に基づく補助的損失を構築している。
生のマルチモーダル観測について,学習した共同表現で情報を圧縮することが有用である。
論文 参考訳（メタデータ） (2024-10-23T04:32:37Z) - Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement
Learning [53.00683059396803]
マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。
本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。
本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
論文 参考訳（メタデータ） (2023-10-06T10:40:46Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳（メタデータ） (2022-05-02T14:42:05Z) - SURF: Semi-supervised Reward Learning with Data Augmentation for
Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。
報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。
本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
論文 参考訳（メタデータ） (2022-03-18T16:50:38Z) - Clustering augmented Self-Supervised Learning: Anapplication to Land
Cover Mapping [10.720852987343896]
本稿では,自己教師型学習のためのクラスタリングに基づくプレテキストタスクを用いて,土地被覆マッピングの新しい手法を提案する。
社会的に関係のある2つのアプリケーションに対して,本手法の有効性を示す。
論文 参考訳（メタデータ） (2021-08-16T19:35:43Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - Information Maximization Clustering via Multi-View Self-Labelling [9.947717243638289]
本稿では,意味のある表現を同時に学習し,対応するアノテーションを割り当てる単一フェーズクラスタリング手法を提案する。
これは、離散表現をネットを通じて自己監督パラダイムに統合することで達成される。
実験の結果,提案手法は,平均精度89.1%,49.0%で最先端技術を上回ることがわかった。
論文 参考訳（メタデータ） (2021-03-12T16:04:41Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。
MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。
我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
論文 参考訳（メタデータ） (2020-05-09T10:09:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。