論文の概要: Learning Downstream Task by Selectively Capturing Complementary
Knowledge from Multiple Self-supervisedly Learning Pretexts
- arxiv url: http://arxiv.org/abs/2204.05248v1
- Date: Mon, 11 Apr 2022 16:46:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 14:32:40.229172
- Title: Learning Downstream Task by Selectively Capturing Complementary
Knowledge from Multiple Self-supervisedly Learning Pretexts
- Title（参考訳）: 複数の自己教師あり学習文から相補的知識を選択的に捉えた下流課題の学習
- Authors: Quan Feng, Qingyuan Wu, Jiayu Yao, Songcan Chen
- Abstract要約: 本稿では,タスクに適した表現を適応的に絞り込むために,アテンション機構を活用する新しい手法を提案する。
本手法は,知識収集において,現在普及しているテキストマッチング手法をはるかに上回っている。
- 参考スコア（独自算出の注目度）: 20.764378638979704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL), as a newly emerging unsupervised
representation learning paradigm, generally follows a two-stage learning
pipeline: 1) learning invariant and discriminative representations with
auto-annotation pretext(s), then 2) transferring the representations to assist
downstream task(s). Such two stages are usually implemented separately, making
the learned representation learned agnostic to the downstream tasks. Currently,
most works are devoted to exploring the first stage. Whereas, it is less
studied on how to learn downstream tasks with limited labeled data using the
already learned representations. Especially, it is crucial and challenging to
selectively utilize the complementary representations from diverse pretexts for
a downstream task. In this paper, we technically propose a novel solution by
leveraging the attention mechanism to adaptively squeeze suitable
representations for the tasks. Meanwhile, resorting to information theory, we
theoretically prove that gathering representation from diverse pretexts is more
effective than a single one. Extensive experiments validate that our scheme
significantly exceeds current popular pretext-matching based methods in
gathering knowledge and relieving negative transfer in downstream tasks.
- Abstract（参考訳）: 新たな非教師付き表現学習パラダイムとしての自己教師付き学習(SSL)は、一般的には2段階の学習パイプラインに従う。
1)自動注釈前文を用いた不変表現と判別表現の学習
2) 下流タスクを支援するために表現を転送する。
このような2つのステージは通常別々に実装され、学習された表現は下流のタスクに依存しない。
現在、ほとんどの作品は第一段階の探検に費やされている。
しかし、既に学習されている表現を用いてラベル付きデータで下流タスクを学習する方法についてはあまり研究されていない。
特に、下流タスクの様々な前文からの補完表現を選択的に活用することは重要かつ困難である。
本稿では,タスクに適した表現を適応的に絞り込むために,アテンション機構を活用する新しい手法を提案する。
一方,情報理論に依拠して,多種多様な前文からの表現の収集が単一の表現よりも効果的であることを理論的に証明する。
広範囲にわたる実験により,提案手法は,現在の一般的なプリテキストマッチング手法をはるかに上回っており,知識の収集や下流タスクにおける負の伝達の軽減に寄与することを確認した。
関連論文リスト
- Conditional Prototype Rectification Prompt Learning [32.533844163120875]
本稿では, 基本事例のバイアスを補正し, 限られたデータを効果的に拡張するための, CPR(Prototype Rectification Prompt Learning)手法を提案する。
CPRは、いくつかのショット分類とベース・ツー・ニューな一般化タスクの両方において最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-04-15T15:43:52Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳（メタデータ） (2023-09-21T10:14:53Z) - Speech representation learning: Learning bidirectional encoders with
single-view, multi-view, and multi-task methods [7.1345443932276424]
この論文は、時間や空間によるシーケンスデータの表現学習に焦点を当てている。
学習した表現を用いて下流のシーケンス予測タスクを改善することを目的としている。
論文 参考訳（メタデータ） (2023-07-25T20:38:55Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - On minimal variations for unsupervised representation learning [19.055611167696238]
教師なし表現学習は、様々な下流タスクを解決するために、生データを効率的に記述することを目的としている。
教師なし表現学習の原則として最小限のバリエーションを考案することは、自己教師付き学習アルゴリズムの実践的ガイドラインを改善する道を開く。
論文 参考訳（メタデータ） (2022-11-07T18:57:20Z) - Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。
大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。
我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
論文 参考訳（メタデータ） (2022-04-08T03:37:56Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-30T12:02:14Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳（メタデータ） (2021-02-22T18:56:34Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳（メタデータ） (2021-01-15T15:12:51Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳（メタデータ） (2020-08-03T17:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。