論文の概要: Exploring Knowledge Distillation of a Deep Neural Network for Multi-Script identification

• arxiv url: http://arxiv.org/abs/2102.10335v1
• Date: Sat, 20 Feb 2021 12:54:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 15:00:50.239160
• Title: Exploring Knowledge Distillation of a Deep Neural Network for Multi-Script identification
• Title（参考訳）: マルチスクリプト識別のためのディープニューラルネットワークの知識蒸留の探索
• Authors: Shuvayan Ghosh Dastidar, Kalpita Dutta, Nibaran Das, Mahantapas Kundu and Mita Nasipuri
• Abstract要約: 多言語スクリプト識別は、シーンテキスト画像に複雑な背景を持つ異なる言語からなる難しいタスクである。 深層ニューラルネットワークは教師モデルとして採用され、教師モデルの予測を利用して小さな学生ネットワークを訓練する。
• 参考スコア（独自算出の注目度）: 8.72467690936929
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-lingual script identification is a difficult task consisting of different language with complex backgrounds in scene text images. According to the current research scenario, deep neural networks are employed as teacher models to train a smaller student network by utilizing the teacher model's predictions. This process is known as dark knowledge transfer. It has been quite successful in many domains where the final result obtained is unachievable through directly training the student network with a simple architecture. In this paper, we explore dark knowledge transfer approach using long short-term memory(LSTM) and CNN based assistant model and various deep neural networks as the teacher model, with a simple CNN based student network, in this domain of multi-script identification from natural scene text images. We explore the performance of different teacher models and their ability to transfer knowledge to a student network. Although the small student network's limited size, our approach obtains satisfactory results on a well-known script identification dataset CVSI-2015.
• Abstract（参考訳）: 多言語スクリプト識別は、シーンテキスト画像に複雑な背景を持つ異なる言語からなる難しいタスクである。 現在の研究シナリオによると、深層ニューラルネットワークは教師モデルとして採用され、教師モデルの予測を利用してより小さな学生ネットワークを訓練する。 このプロセスはダークナレッジ転送と呼ばれます。 学生ネットワークを単純なアーキテクチャで直接訓練することで得られた最終的な成果が達成できない多くの領域で成功している。 本論文では, 短時間メモリ (LSTM) と CNN ベースのアシスタントモデルを用いたダークナレッジ転送手法と, 教師モデルとしての様々なディープニューラルネットワークを, CNN ベースの学生ネットワークを用いて, 自然シーンのテキスト画像からのマルチスクリプト識別の領域で検討する。 異なる教師モデルのパフォーマンスと,その知識を学生ネットワークに伝達する能力について検討する。 小規模な学生ネットワークのサイズは限られているが,本手法はよく知られたスクリプト識別データセットCVSI-2015において良好な結果が得られる。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation [48.49860868061573]
  最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 それらは、異なるカメラビューからのシーンのイメージを、一度のトレーニングで利用できるようにする必要がある。 これは特に大規模なシーンと限られたデータストレージを持つシナリオでは高価である。 我々は、破滅的な問題を緩和するために、学生-教師の枠組みを設計する。
  論文  参考訳（メタデータ） (2022-12-21T11:43:20Z)
• Collaborative Multi-Teacher Knowledge Distillation for Learning Low Bit-width Deep Neural Networks [28.215073725175728]
  マルチ教師による知識蒸留とネットワーク量子化を併用した,低ビット幅DNN学習のための新しいフレームワークを提案する。 CIFAR100 と ImageNet のデータセットを用いた実験結果から,本手法で訓練した小型量子化学生モデルによる競争結果が得られた。
  論文  参考訳（メタデータ） (2022-10-27T01:03:39Z)
• The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
  我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。 提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
  論文  参考訳（メタデータ） (2022-07-18T15:07:13Z)
• Self-Supervised Graph Neural Network for Multi-Source Domain Adaptation [51.21190751266442]
  ドメイン適応(DA)は、テストデータがトレーニングデータの同じ分布に完全に従わない場合に、シナリオに取り組む。 大規模未ラベルサンプルから学習することで、自己教師型学習がディープラーニングの新しいトレンドとなっている。 我々は,より効果的なタスク間情報交換と知識共有を実現するために,新しい textbfSelf-textbf Supervised textbfGraph Neural Network (SSG) を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:56Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
  本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。 まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。 第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
  論文  参考訳（メタデータ） (2020-09-10T17:59:10Z)
• Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition [79.75964372862279]
  本稿では,表情認識における認識精度を向上させるために,PASM(Point Adversarial Self Mining)を提案する。 PASMは、目標タスクに関連する最も情報性の高い位置を見つけるために、ポイント敵攻撃法と訓練された教師ネットワークを使用する。 適応学習教材の生成と教師/学生の更新を複数回行うことができ、ネットワーク能力が反復的に向上する。
  論文  参考訳（メタデータ） (2020-08-26T06:39:24Z)
• Teacher-Class Network: A Neural Network Compression Mechanism [2.257416403770908]
  提案手法は,1人の生徒にのみ知識を伝達する代わりに,各生徒に知識の一部を伝達する。 我々の学生は問題固有のロジットの訓練を受けておらず、教師ネットワークで学んだ知識(センス表現)を模倣するように訓練されている。 提案した教師クラスアーキテクチャは,MNIST,Fashion MNIST,IMDB Movie Reviews,CAMVid,CIFAR-10,ImageNetなどのベンチマークデータセットで評価される。
  論文  参考訳（メタデータ） (2020-04-07T11:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。