論文の概要: Lifelong Teacher-Student Network Learning

• arxiv url: http://arxiv.org/abs/2107.04689v1
• Date: Fri, 9 Jul 2021 21:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 11:39:12.381321
• Title: Lifelong Teacher-Student Network Learning
• Title（参考訳）: 生涯教師-学生ネットワーク学習
• Authors: Fei Ye and Adrian G. Bors
• Abstract要約: 本稿では,教師-学生ネットワークフレームワークを用いた生涯学習手法を提案する。 教師は、以前に学習したデータベースの確率的表現に対応する過去の知識を保存し、再生するように訓練されている。 学生モジュールは、異なるドメインにまたがる連続的なデータ表現と離散的なデータ表現の両方をキャプチャするように訓練されている。
• 参考スコア（独自算出の注目度）: 15.350366047108103
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A unique cognitive capability of humans consists in their ability to acquire new knowledge and skills from a sequence of experiences. Meanwhile, artificial intelligence systems are good at learning only the last given task without being able to remember the databases learnt in the past. We propose a novel lifelong learning methodology by employing a Teacher-Student network framework. While the Student module is trained with a new given database, the Teacher module would remind the Student about the information learnt in the past. The Teacher, implemented by a Generative Adversarial Network (GAN), is trained to preserve and replay past knowledge corresponding to the probabilistic representations of previously learn databases. Meanwhile, the Student module is implemented by a Variational Autoencoder (VAE) which infers its latent variable representation from both the output of the Teacher module as well as from the newly available database. Moreover, the Student module is trained to capture both continuous and discrete underlying data representations across different domains. The proposed lifelong learning framework is applied in supervised, semi-supervised and unsupervised training. The code is available~: \url{https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning}
• Abstract（参考訳）: 人間の独特の認知能力は、一連の経験から新しい知識とスキルを得る能力から成り立っている。 一方、人工知能システムは、過去に学んだデータベースを覚えることなく、与えられた最後のタスクのみを学ぶのに長けている。 本稿では,教師-学生ネットワークフレームワークを用いた生涯学習手法を提案する。 学生モジュールが与えられた新しいデータベースでトレーニングされている間、教師モジュールは過去に学んだ情報を学生に思い出させる。 The TeacherはGAN(Generative Adversarial Network)によって実装され、学習前のデータベースの確率的表現に対応する過去の知識を保存・再生するように訓練されている。 一方、学生モジュールは変分オートエンコーダ(VAE)によって実装され、教師モジュールの出力と新たに利用可能なデータベースの両方から潜在変数表現を推論する。 さらに、学生モジュールは、異なるドメインにまたがる連続的および離散的なデータ表現の両方をキャプチャするように訓練される。 提案した生涯学習フレームワークは、教師付き、半教師付き、教師なしの訓練に適用される。 コードは?: \url{https://github.com/dtuzi123/Lifelong-Teacher-Student-Network-Learning}

関連論文リスト

• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
  そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。 そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。 本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-16T21:13:30Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• YODA: Teacher-Student Progressive Learning for Language Models [82.0172215948963]
  本稿では,教師が指導するプログレッシブ・ラーニング・フレームワークであるYodaを紹介する。 モデルファインチューニングの有効性を向上させるために,教師の教育過程をエミュレートする。 実験の結果, YODAのデータによるLLaMA2のトレーニングにより, SFTは大幅に向上した。
  論文  参考訳（メタデータ） (2024-01-28T14:32:15Z)
• Semi-Supervised Lifelong Language Learning [81.0685290973989]
  ラベル付きデータとラベルなしデータの両方を用いて、モデルが逐次到着する言語タスクを学習する、新しい半教師付き生涯言語学習(SSLL)について検討する。 特に、破滅的な忘れを軽減し、ラベルのないデータを活用するために2つのモジュールを設計するために、タスク固有のモジュールに特化しています。 各種言語課題に対する実験結果から,本モデルの有効性と,競争的ベースラインよりも優越性を示す。
  論文  参考訳（メタデータ） (2022-11-23T15:51:33Z)
• Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher [6.884272840652062]
  そこで本研究では,学習者・教師の知能・能力に乏しい教師を学習者・教師の枠組みで探究し,忘れがちさを誘発する手法を提案する。 有能で無能な教師からの知識は、学生に選択的に伝達され、忘れデータに関する情報を含まないモデルが得られる。 ゼロ・ナッシング(ZRF)メトリクスを導入し、未学習の手法を評価する。
  論文  参考訳（メタデータ） (2022-05-17T05:13:17Z)
• Teaching to Learn: Sequential Teaching of Agents with Inner States [20.556373950863247]
  学習者の内的状態が授業の相互作用によって変化するようなマルチエージェントの定式化を導入する。 このような学習者を指導するために,学習者の今後のパフォーマンスを考慮に入れた最適制御手法を提案する。
  論文  参考訳（メタデータ） (2020-09-14T07:03:15Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)
• Role-Wise Data Augmentation for Knowledge Distillation [48.115719640111394]
  知識蒸留(KD)は、ある機械学習モデルから学んだ知識を別の機械学習モデルに転送する一般的な方法である。 我々は、知識蒸留を促進するために、異なる役割を持つデータ増強剤を設計する。 特別に調整されたデータポイントが、教師の知識をより効果的に生徒に示せることを実証的に見出した。
  論文  参考訳（メタデータ） (2020-04-19T14:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。