論文の概要: Self-supervision of Feature Transformation for Further Improving Supervised Learning

• arxiv url: http://arxiv.org/abs/2106.04922v1
• Date: Wed, 9 Jun 2021 09:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:10:21.577702
• Title: Self-supervision of Feature Transformation for Further Improving Supervised Learning
• Title（参考訳）: 教師付き学習をさらに改善するための機能変換の自己監督
• Authors: Zilin Ding, Yuhang Yang, Xuan Cheng, Xiaomin Wang, Ming Liu
• Abstract要約: CNNの機能は、セルフスーパービジョンにも使えます。 私たちのタスクでは、特定の機能領域を廃止し、これらの特徴を区別するためにモデルをトレーニングします。 オリジナルレーベルは、フィーチャートランスフォーメーションの自己監督を通じて、ジョイントレーベルに拡張される。
• 参考スコア（独自算出の注目度）: 6.508466234920147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning, which benefits from automatically constructing labels through pre-designed pretext task, has recently been applied for strengthen supervised learning. Since previous self-supervised pretext tasks are based on input, they may incur huge additional training overhead. In this paper we find that features in CNNs can be also used for self-supervision. Thus we creatively design the \emph{feature-based pretext task} which requires only a small amount of additional training overhead. In our task we discard different particular regions of features, and then train the model to distinguish these different features. In order to fully apply our feature-based pretext task in supervised learning, we also propose a novel learning framework containing multi-classifiers for further improvement. Original labels will be expanded to joint labels via self-supervision of feature transformations. With more semantic information provided by our self-supervised tasks, this approach can train CNNs more effectively. Extensive experiments on various supervised learning tasks demonstrate the accuracy improvement and wide applicability of our method.
• Abstract（参考訳）: 近年,ラベルの自動構築による自己教師付き学習が,教師付き学習の強化に応用されている。 従来の自己教師付きプリテキストタスクは入力に基づいているため、追加のトレーニングオーバーヘッドが発生する可能性がある。 本稿では,CNNの機能を自己スーパービジョンにも活用できることを見出した。 したがって、少量のトレーニングオーバーヘッドだけを必要とする \emph{feature-based pretext task} を創造的に設計する。 私たちのタスクでは、さまざまな機能領域を捨てて、これらの異なる機能を区別するためにモデルをトレーニングします。 また,教師付き学習における機能ベースプリテキストタスクを十分に活用するために,マルチクラス化子を含む新しい学習フレームワークを提案する。 オリジナルレーベルは機能変換の自己監督を通じてジョイントレーベルに拡張される。 自己管理タスクによって提供されるセマンティック情報により、このアプローチはCNNをより効果的に訓練することができる。 様々な教師付き学習タスクに関する広範囲な実験により,本手法の精度向上と幅広い適用性が示された。

関連論文リスト

• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning [10.47937328610174]
  自己教師型学習は、監督ボトルネックを軽減するための有望な方向として現れています。 本稿では,タスク固有の自己監督のための統合フレームワークを提供する,深い確率論的論理について述べる。 次に、DPLに新たな自己スーパービジョンを自動学習する機能を追加する自己教師型自己スーパービジョン(S4)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:25:56Z)
• Self-supervised Feature Enhancement: Applying Internal Pretext Task to Supervised Learning [6.508466234920147]
  我々は,CNN内の特徴変換を,自己監督タスクを構築するための監視信号とみなすこともできることを示した。 具体的には、まず異なるチャネルを破棄して内部特徴マップを変換し、その後、破棄されたチャネルを識別するための追加の内部プレテキストタスクを定義する。 CNNは、自己監督ラベルとオリジナルラベルの組み合わせによって生成されるジョイントラベルを予測するために訓練される。
  論文  参考訳（メタデータ） (2021-06-09T08:59:35Z)
• Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks [0.0]
  最近の少数ショット学習の研究は、学習された表現の質が少数ショット分類のパフォーマンスにおいて重要な役割を果たしていることを示しています。 一方,自己教師付き学習の目標は,クラスラベルを使わずにデータの有用な意味情報を復元することである。 我々は,最近の自己教師あり手法を補助タスクとして利用するマルチタスクフレームワークを用いて,両パラダイムの相補性を活用する。
  論文  参考訳（メタデータ） (2021-01-24T23:21:43Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)
• Automatic Shortcut Removal for Self-Supervised Representation Learning [39.636691159890354]
  自己教師付き視覚表現学習では、人間のアノテーションを使わずにラベルを安価に生成できる「テキストタスク」に基づいて特徴抽出器を訓練する。 このような「ショートカット」機能や、その効果を減らすための手書き設計スキームの特定に多くの作業が費やされている。 この仮定は、"lens"ネットワークをトレーニングして、プリテキストタスクのパフォーマンスを最大に低下させる小さな画像変更を行うことによって、一般的なプリテキストタスクやデータセットにまたがって成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-20T16:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。