論文の概要: Teacher-Student Architecture for Knowledge Learning: A Survey
- arxiv url: http://arxiv.org/abs/2210.17332v1
- Date: Fri, 28 Oct 2022 01:11:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 16:06:39.045630
- Title: Teacher-Student Architecture for Knowledge Learning: A Survey
- Title（参考訳）: 知識学習のための教師学生アーキテクチャ:調査
- Authors: Chengming Hu, Xuan Li, Dan Liu, Xi Chen, Ju Wang, and Xue Liu
- Abstract要約: 学生ネットワークは、ディープ・教師ネットワークと同等のパフォーマンスを達成できる。
教師-学生アーキテクチャの助けを借りて、現在の研究は複数の知識学習目標を達成することができる。
- 参考スコア（独自算出の注目度）: 16.896254271708738
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although Deep Neural Networks (DNNs) have shown a strong capacity to solve
large-scale problems in many areas, such DNNs with voluminous parameters are
hard to be deployed in a real-time system. To tackle this issue,
Teacher-Student architectures were first utilized in knowledge distillation,
where simple student networks can achieve comparable performance to deep
teacher networks. Recently, Teacher-Student architectures have been effectively
and widely embraced on various knowledge learning objectives, including
knowledge distillation, knowledge expansion, knowledge adaption, and multi-task
learning. With the help of Teacher-Student architectures, current studies are
able to achieve multiple knowledge-learning objectives through lightweight and
effective student networks. Different from the existing knowledge distillation
surveys, this survey detailedly discusses Teacher-Student architectures with
multiple knowledge learning objectives. In addition, we systematically
introduce the knowledge construction and optimization process during the
knowledge learning and then analyze various Teacher-Student architectures and
effective learning schemes that have been leveraged to learn representative and
robust knowledge. This paper also summarizes the latest applications of
Teacher-Student architectures based on different purposes (i.e.,
classification, recognition, and generation). Finally, the potential research
directions of knowledge learning are investigated on the Teacher-Student
architecture design, the quality of knowledge, and the theoretical studies of
regression-based learning, respectively. With this comprehensive survey, both
industry practitioners and the academic community can learn insightful
guidelines about Teacher-Student architectures on multiple knowledge learning
objectives.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、多くの領域で大規模な問題を解決する強力な能力を示しているが、発光パラメータを持つDNNはリアルタイムシステムに展開することが難しい。
この問題に対処するために、教師-学生アーキテクチャは知識蒸留において最初に利用され、単純な学生ネットワークは深層教師ネットワークに匹敵する性能を達成できる。
近年, 知識蒸留, 知識拡張, 知識適応, マルチタスク学習など, 様々な知識学習目標に対して, 教師・学生アーキテクチャが効果的に広く受け入れられている。
教師-学生アーキテクチャの助けを借りて、現在の研究では、軽量で効果的な学生ネットワークを通じて、複数の知識学習目標を達成することができる。
本研究は,既存の知識蒸留調査と異なり,複数の知識学習目標を持つ教員養成型アーキテクチャを詳細に検討した。
さらに,知識学習中に知識構築と最適化のプロセスを体系的に導入し,代表的かつ頑健な知識を学習するために活用された様々な教師・学生のアーキテクチャと効果的な学習スキームを分析した。
本稿では, 異なる目的(分類, 認識, 生成など)に基づく教師学習型アーキテクチャの最新の応用について概説する。
最後に,知識学習の潜在的な研究方向性について,教師-学生アーキテクチャ設計,知識の質,回帰学習の理論的研究について検討した。
この包括的調査により、業界実践者と学術コミュニティの両方が、複数の知識学習目標に関する教師-学生アーキテクチャに関する洞察に富んだガイドラインを学ぶことができる。
関連論文リスト
- Student-Oriented Teacher Knowledge Refinement for Knowledge Distillation [11.754014876977422]
本報告では,学生のニーズに合うように教師の知識を改良し,学生を意識した視点を新たに導入する。
本稿では,訓練中に学習可能な機能拡張戦略を取り入れた学生指向知識蒸留(SoKD)について紹介する。
また,教師と学生の相互関心領域を特定するために,DAM(Distinctive Area Detection Module)をデプロイした。
論文 参考訳（メタデータ） (2024-09-27T14:34:08Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳（メタデータ） (2023-10-11T08:22:37Z) - Teacher-Student Architecture for Knowledge Distillation: A Survey [17.58895983901923]
いくつかのパラメータを持つ学生ネットワークは、多くのパラメータを持つディープ・教師ネットワークに匹敵する性能を達成することができる。
教師-学生アーキテクチャは、様々な知識蒸留(KD)の目的に効果的に広く受け入れられてきた。
論文 参考訳（メタデータ） (2023-08-08T14:09:33Z) - Worth of knowledge in deep learning [3.132595571344153]
我々は、知識の価値を評価するために、解釈可能な機械学習にインスパイアされたフレームワークを提案する。
我々の研究結果は、依存、相乗効果、置換効果を含む、データと知識の複雑な関係を解明する。
我々のモデルに依存しないフレームワークは、様々な共通ネットワークアーキテクチャに適用でき、ディープラーニングモデルにおける事前知識の役割を包括的に理解することができる。
論文 参考訳（メタデータ） (2023-07-03T02:25:19Z) - Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。
本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
論文 参考訳（メタデータ） (2022-11-30T03:44:15Z) - Learning Knowledge Representation with Meta Knowledge Distillation for
Single Image Super-Resolution [82.89021683451432]
単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。
種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2022-07-18T02:41:04Z) - Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。
本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。
我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文 参考訳（メタデータ） (2022-01-15T15:03:17Z) - Learning Student-Friendly Teacher Networks for Knowledge Distillation [50.11640959363315]
本研究では,教師から学生への暗黒知識の伝達を容易にする新しい知識蒸留手法を提案する。
事前教育を受けた教師に与えた学習モデルの効果的な学習方法のほとんどとは対照的に,学生に親しみやすい教師モデルを学ぶことを目的とする。
論文 参考訳（メタデータ） (2021-02-12T07:00:17Z) - Point Adversarial Self Mining: A Simple Method for Facial Expression
Recognition [79.75964372862279]
本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。
PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。
適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
論文 参考訳（メタデータ） (2020-08-26T06:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。