論文の概要: Tailoring Self-Supervision for Supervised Learning

• arxiv url: http://arxiv.org/abs/2207.10023v1
• Date: Wed, 20 Jul 2022 16:41:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 13:56:27.366356
• Title: Tailoring Self-Supervision for Supervised Learning
• Title（参考訳）: 教師付き学習のための自己スーパービジョンの調整
• Authors: WonJun Moon, Ji-Hwan Kim, Jae-Pil Heo
• Abstract要約: ローカライズ可能なローカライズ可能な回転(LoRot)を予測する簡単な補助的自己スーパービジョンタスクを提案する。 我々の実験は、教師あり学習に適したプレテキストタスクとして、LoRotの利点を検証した。
• 参考スコア（独自算出の注目度）: 13.246792800356776
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recently, it is shown that deploying a proper self-supervision is a prospective way to enhance the performance of supervised learning. Yet, the benefits of self-supervision are not fully exploited as previous pretext tasks are specialized for unsupervised representation learning. To this end, we begin by presenting three desirable properties for such auxiliary tasks to assist the supervised objective. First, the tasks need to guide the model to learn rich features. Second, the transformations involved in the self-supervision should not significantly alter the training distribution. Third, the tasks are preferred to be light and generic for high applicability to prior arts. Subsequently, to show how existing pretext tasks can fulfill these and be tailored for supervised learning, we propose a simple auxiliary self-supervision task, predicting localizable rotation (LoRot). Our exhaustive experiments validate the merits of LoRot as a pretext task tailored for supervised learning in terms of robustness and generalization capability. Our code is available at https://github.com/wjun0830/Localizable-Rotation.
• Abstract（参考訳）: 近年,適切な自己スーパービジョンを展開させることが,教師付き学習の性能向上につながることが示唆されている。 しかし、自己スーパービジョンの利点は、前回のプレテキストタスクが教師なし表現学習に特化しているため、完全には活用されていない。 この目的を達成するために,このような補助タスクに3つの望ましい特性を提示することから始める。 まず、タスクはリッチな機能を学ぶためにモデルを導く必要がある。 第二に、自己超越に関わる変換はトレーニング分布を著しく変えるべきではない。 第3に、作業は軽量で汎用的で、先行技術の適用性が高いことが好ましい。 次に,既存のプリテキストタスクがこれらをどのように実現し,教師付き学習のために調整できるかを示すために,局所的回転 (lorot) を予測し,簡単な補助的自己スーパービジョンタスクを提案する。 我々の徹底的な実験は、堅牢性と一般化能力の観点から教師あり学習に適したプレテキストタスクとしてのLoRotの利点を検証した。 私たちのコードはhttps://github.com/wjun0830/Localizable-Rotationで利用可能です。

関連論文リスト

• Revisiting Supervision for Continual Representation Learning [1.0030878538350796]
  本研究では,連続表現学習における教師の役割を再検討する。 多層パーセプトロンヘッドで強化された教師付きモデルは、連続表現学習において自己教師付きモデルより優れていることを示す。 このことは、連続学習における一連のタスクにまたがる特徴伝達可能性を形成する上で、多層パーセプトロンプロジェクタの重要性を強調している。
  論文  参考訳（メタデータ） (2023-11-22T11:24:04Z)
• Functional Knowledge Transfer with Self-supervised Representation Learning [11.566644244783305]
  本研究では,機能的知識伝達の方向における自己指導型表現学習の未探索ユーザビリティについて検討する。 本研究では,自己教師型学習課題と教師型学習課題の協調最適化により,機能的知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-03-12T21:14:59Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Intrinsically Motivated Self-supervised Learning in Reinforcement Learning [15.809835721792687]
  視覚に基づく強化学習(RL)タスクでは、補助タスクに自己監督的損失を割り当てることが一般的である。 強化学習(IM-SSR)における本質的動機づけ型自己監督学習(Intivically Motivated Self-Supervised Learning)という,自己監督的損失を本質的な報酬として活用する,シンプルかつ効果的なアイデアを提案する。 自己監督的損失は、新しい状態の探索やニュアンス除去による改善として堅牢性を示す。
  論文  参考訳（メタデータ） (2021-06-26T08:43:28Z)
• Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement [83.49553735348577]
  教師なし学習のためのプログレッシブ・ステージ・ワイド・ラーニング(PSL)フレームワークを提案する。 実験の結果,PSLは教師なしの指導方法の学習結果を継続的に改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-10T07:33:19Z)
• Self-supervision of Feature Transformation for Further Improving Supervised Learning [6.508466234920147]
  CNNの機能は、セルフスーパービジョンにも使えます。 私たちのタスクでは、特定の機能領域を廃止し、これらの特徴を区別するためにモデルをトレーニングします。 オリジナルレーベルは、フィーチャートランスフォーメーションの自己監督を通じて、ジョイントレーベルに拡張される。
  論文  参考訳（メタデータ） (2021-06-09T09:06:33Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)
• Continual Learning of Control Primitives: Skill Discovery via Reset-Games [128.36174682118488]
  エージェントが最小限の監督力でスキルを習得できる方法を示す。 私たちは、エージェントを学習タスクの初期状態の広いセットに"リセット"する必要があるという洞察を利用して、多様な"リセットスキル"を学ぶための自然な設定を提供します。
  論文  参考訳（メタデータ） (2020-11-10T18:07:44Z)
• Planning to Explore via Self-Supervised World Models [120.31359262226758]
  Plan2Exploreは自己監督型強化学習エージェントである。 我々は、自己監督型探索と、新しいタスクへの迅速な適応に対する新しいアプローチを提案する。 Plan2Exploreは、訓練の監督やタスク固有の相互作用がなければ、自己監督型の探査方法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-12T17:59:45Z)
• Improving out-of-distribution generalization via multi-task self-supervised pretraining [48.29123326140466]
  我々は,自己教師付き学習を用いて得られた特徴が,コンピュータビジョンにおける領域一般化のための教師付き学習に匹敵するか,それより優れていることを示す。 本稿では,Gaborフィルタバンクに対する応答を予測するための自己教師型プレテキストタスクを提案する。
  論文  参考訳（メタデータ） (2020-03-30T14:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。