論文の概要: Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks

• arxiv url: http://arxiv.org/abs/2110.12696v1
• Date: Mon, 25 Oct 2021 07:18:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-27 03:06:49.429361
• Title: Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks
• Title（参考訳）: ゆるく教師付き補助タスクによる自己教師付き知識伝達
• Authors: Seungbum Hong, Jihun Yoon, Junmo Kim, Min-Kook Choi
• Abstract要約: 畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。 本稿では,ネットワーク構造やデータセットに制約を加えることなく,シンプルな知識伝達手法を提案する。 本研究では,従来の知識を現在の学習プロセスに伝達する学習手法を,ソフトラベルを用いた自己監督を通じて,目標タスクの補助的タスクとして考案する。
• 参考スコア（独自算出の注目度）: 24.041268664220294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge transfer using convolutional neural networks (CNNs) can help efficiently train a CNN with fewer parameters or maximize the generalization performance under limited supervision. To enable a more efficient transfer of pretrained knowledge under relaxed conditions, we propose a simple yet powerful knowledge transfer methodology without any restrictions regarding the network structure or dataset used, namely self-supervised knowledge transfer (SSKT), via loosely supervised auxiliary tasks. For this, we devise a training methodology that transfers previously learned knowledge to the current training process as an auxiliary task for the target task through self-supervision using a soft label. The SSKT is independent of the network structure and dataset, and is trained differently from existing knowledge transfer methods; hence, it has an advantage in that the prior knowledge acquired from various tasks can be naturally transferred during the training process to the target task. Furthermore, it can improve the generalization performance on most datasets through the proposed knowledge transfer between different problem domains from multiple source networks. SSKT outperforms the other transfer learning methods (KD, DML, and MAXL) through experiments under various knowledge transfer settings. The source code will be made available to the public.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)を用いた知識伝達は、より少ないパラメータでCNNを効率的に訓練したり、限られた監督下での一般化性能を最大化することができる。 緩和条件下での事前学習知識のより効率的な転送を可能にするために,ネットワーク構造や使用するデータセット,すなわち自己教師付き知識転送(sskt)に関する制約を伴わない,簡便で強力な知識伝達手法を提案する。 そこで本研究では,ソフトラベルを用いた自己スーパービジョンによる目標課題の補助タスクとして,学習済みの知識を現在の訓練プロセスに伝達するトレーニング手法を考案する。 SSKTはネットワーク構造やデータセットとは独立しており、既存の知識伝達方法と異なる訓練がなされているため、トレーニングプロセス中に様々なタスクから得られた先行知識を対象タスクに自然に移行できるという利点がある。 さらに、複数のソースネットワークから異なる問題領域間の知識転送を提案することにより、ほとんどのデータセットの一般化性能を向上させることができる。 SSKTは、様々な知識伝達環境下での実験を通じて、他の伝達学習方法(KD、DML、MAXL)より優れている。 ソースコードは一般公開される予定だ。

関連論文リスト

• Adaptive Intellect Unleashed: The Feasibility of Knowledge Transfer in Large Language Models [25.23472658127685]
  我々は,大規模言語モデル(LLM)の一般化能力を向上させるために,知識伝達を用いた最初の実証的研究を行った。 提案する一般知識伝達手法は,LLMがこれまでに遭遇した類似のAPIやコードスニペットに導出し,未知の知識に対するモデルの一般化能力を向上させる。 このアプローチを,API推論,コード例生成,FQN推論という3つのソフトウェアエンジニアリングタスクに適用する。
  論文  参考訳（メタデータ） (2023-08-09T08:26:22Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• Multi-Source Transfer Learning for Deep Model-Based Reinforcement Learning [0.6445605125467572]
  強化学習における重要な課題は、エージェントが与えられたタスクをマスターするために必要な環境との相互作用の数を減らすことである。 伝達学習は、以前に学習したタスクから知識を再利用することでこの問題に対処することを提案する。 本研究の目的は,モジュール型マルチソーストランスファー学習技術を用いて,これらの課題に対処することである。
  論文  参考訳（メタデータ） (2022-05-28T12:04:52Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Hierarchical Self-supervised Augmented Knowledge Distillation [1.9355744690301404]
  本稿では,ネットワークを誘導し,本来の認識タスクと自己教師付き補助タスクの共分散を学習するための,新たな自己教師型拡張タスクを提案する。 正規分類能力を失うことなく、表現力を向上させるためのより豊かな知識として実証される。 CIFAR-100では平均2.56%,ImageNetでは0.77%向上した。
  論文  参考訳（メタデータ） (2021-07-29T02:57:21Z)
• Network-Agnostic Knowledge Transfer for Medical Image Segmentation [2.25146058725705]
  教師から学生ネットワークへのナレッジトランスファーアプローチを提案し、学生を独立したトランスファーデータセットでトレーニングします。 一つの教師からの知識伝達,知識伝達と微調整の組み合わせ,および複数の教師からの知識伝達について検討した。 提案アルゴリズムは知識伝達に有効であり、容易に調整できる。
  論文  参考訳（メタデータ） (2021-01-23T19:06:14Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep Character Recognition [2.320417845168326]
  ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。 1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。 本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
  論文  参考訳（メタデータ） (2020-01-02T14:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。