論文の概要: Self-supervised Feature Enhancement: Applying Internal Pretext Task to Supervised Learning

• arxiv url: http://arxiv.org/abs/2106.04921v1
• Date: Wed, 9 Jun 2021 08:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:10:36.894905
• Title: Self-supervised Feature Enhancement: Applying Internal Pretext Task to Supervised Learning
• Title（参考訳）: 自己教師付き機能強化: 教師付き学習への内部プリテキストタスクの適用
• Authors: Yuhang Yang, Zilin Ding, Xuan Cheng, Xiaomin Wang, Ming Liu
• Abstract要約: 我々は,CNN内の特徴変換を,自己監督タスクを構築するための監視信号とみなすこともできることを示した。 具体的には、まず異なるチャネルを破棄して内部特徴マップを変換し、その後、破棄されたチャネルを識別するための追加の内部プレテキストタスクを定義する。 CNNは、自己監督ラベルとオリジナルラベルの組み合わせによって生成されるジョイントラベルを予測するために訓練される。
• 参考スコア（独自算出の注目度）: 6.508466234920147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional self-supervised learning requires CNNs using external pretext tasks (i.e., image- or video-based tasks) to encode high-level semantic visual representations. In this paper, we show that feature transformations within CNNs can also be regarded as supervisory signals to construct the self-supervised task, called \emph{internal pretext task}. And such a task can be applied for the enhancement of supervised learning. Specifically, we first transform the internal feature maps by discarding different channels, and then define an additional internal pretext task to identify the discarded channels. CNNs are trained to predict the joint labels generated by the combination of self-supervised labels and original labels. By doing so, we let CNNs know which channels are missing while classifying in the hope to mine richer feature information. Extensive experiments show that our approach is effective on various models and datasets. And it's worth noting that we only incur negligible computational overhead. Furthermore, our approach can also be compatible with other methods to get better results.
• Abstract（参考訳）: 従来の自己教師付き学習では、高レベルのセマンティックな視覚表現をエンコードするために、外部のプリテキストタスク(画像またはビデオベースのタスク)を使用するCNNが必要である。 本稿では,CNN内の特徴変換を,自己教師型タスクである「emph{internal pretext task」を構築するための監視信号とみなすことができることを示す。 そして、このようなタスクを教師付き学習の強化に適用することができる。 具体的には、まず異なるチャネルを破棄して内部特徴マップを変換し、その後、破棄されたチャネルを識別するための追加の内部前提タスクを定義する。 CNNは、自己監督ラベルとオリジナルラベルの組み合わせによって生成されるジョイントラベルを予測するために訓練される。 そうすることで、よりリッチな機能情報のマイニングを期待しながら、どのチャネルが欠けているのかをCNNに知らせることができます。 広範な実験により、我々のアプローチは様々なモデルやデータセットに有効であることが示された。 そして、無視できる計算オーバーヘッドしか発生していないことに注意してください。 さらに、我々の手法は他の手法と互換性があり、より良い結果が得られる。

関連論文リスト

• CDFSL-V: Cross-Domain Few-Shot Learning for Videos [58.37446811360741]
  ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。 既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。 本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T19:44:27Z)
• SERE: Exploring Feature Self-relation for Self-supervised Transformer [79.5769147071757]
  視覚変換器(ViT)は、空間的自己アテンションとチャネルレベルのフィードフォワードネットワークを備えた強力な表現能力を有する。 最近の研究によると、自己教師型学習はViTの大きな可能性を解き放つのに役立つ。 空間次元とチャネル次元のリレーショナルモデリングは、他のネットワークとViTを区別する。
  論文  参考訳（メタデータ） (2022-06-10T15:25:00Z)
• Self-supervision of Feature Transformation for Further Improving Supervised Learning [6.508466234920147]
  CNNの機能は、セルフスーパービジョンにも使えます。 私たちのタスクでは、特定の機能領域を廃止し、これらの特徴を区別するためにモデルをトレーニングします。 オリジナルレーベルは、フィーチャートランスフォーメーションの自己監督を通じて、ジョイントレーベルに拡張される。
  論文  参考訳（メタデータ） (2021-06-09T09:06:33Z)
• Wider Vision: Enriching Convolutional Neural Networks via Alignment to External Knowledge Bases [0.3867363075280543]
  CNNのミラーリングまたはアライメントを通じて、CNNのモデルを外部の知識ベースに説明し、拡張することを目指しています。 これにより、視覚機能ごとにセマンティックなコンテキストやラベルを与えることができます。 その結果,アライメント埋め込み空間では,ナレッジグラフのノードは類似した意味を持つcnn特徴ノードに近いことがわかった。
  論文  参考訳（メタデータ） (2021-02-22T16:00:03Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• A CNN-based Feature Space for Semi-supervised Incremental Learning in Assisted Living Applications [2.1485350418225244]
  トレーニングデータセットから得られた特徴空間を用いて、問題のある画像を自動的にラベル付けする。 その結果、半教師付き漸進的な学習プロセスにより、新しいインスタンスの分類精度を40%向上させることができる。
  論文  参考訳（メタデータ） (2020-11-11T12:31:48Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Decoding CNN based Object Classifier Using Visualization [6.666597301197889]
  CNNのさまざまな畳み込み層で抽出される特徴の種類を視覚化する。 アクティベーションのヒートマップを可視化することは、CNNが画像内の異なるオブジェクトを分類し、ローカライズする方法を理解するのに役立ちます。
  論文  参考訳（メタデータ） (2020-07-15T05:01:27Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。