論文の概要: Spirit Distillation: Precise Real-time Prediction with Insufficient Data
- arxiv url: http://arxiv.org/abs/2103.13733v1
- Date: Thu, 25 Mar 2021 10:23:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 13:55:54.279860
- Title: Spirit Distillation: Precise Real-time Prediction with Insufficient Data
- Title（参考訳）: スピリット蒸留:不十分なデータによる高精度リアルタイム予測
- Authors: Zhiyuan Wu, Hong Qi, Yu Jiang, Chupeng Cui, Zongmin Yang, Xinhui Xue
- Abstract要約: スピリット蒸留(SD)という新しいトレーニングフレームワークを提案します。
微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。
その結果, セグメンテーション(mIOU)において, 精度が1.4%, 精度が8.2%向上した。
- 参考スコア（独自算出の注目度）: 4.6247655021017655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent trend demonstrates the effectiveness of deep neural networks (DNNs)
apply on the task of environment perception in autonomous driving system. While
large-scale and complete data can train out fine DNNs, collecting it is always
difficult, expensive, and time-consuming. Also, the significance of both
accuracy and efficiency cannot be over-emphasized due to the requirement of
real-time recognition. To alleviate the conflicts between weak data and high
computational consumption of DNNs, we propose a new training framework named
Spirit Distillation(SD). It extends the ideas of fine-tuning-based transfer
learning(FTT) and feature-based knowledge distillation. By allowing the student
to mimic its teacher in feature extraction, the gap of general features between
the teacher-student networks is bridged. The Image Party distillation
enhancement method(IP) is also proposed, which shuffling images from various
domains, and randomly selecting a few as mini-batch. With this approach, the
overfitting that the student network to the general features of the teacher
network can be easily avoided. Persuasive experiments and discussions are
conducted on CityScapes with the prompt of COCO2017 and KITTI. Results
demonstrate the boosting performance in segmentation(mIOU and high-precision
accuracy boost by 1.4% and 8.2% respectively, with 78.2% output variance), and
can gain a precise compact network with only 41.8\% FLOPs(see Fig. 1). This
paper is a pioneering work on knowledge distillation applied to few-shot
learning. The proposed methods significantly reduce the dependence on data of
DNNs training, and improves the robustness of DNNs when facing rare situations,
with real-time requirement satisfied. We provide important technical support
for the advancement of scene perception technology for autonomous driving.
- Abstract（参考訳）: 最近の傾向は、自律運転システムにおける環境認識におけるディープニューラルネットワーク(DNN)の有効性を示している。
大規模で完全なデータは優れたDNNをトレーニングすることができるが、収集は常に困難で高価で時間を要する。
また,リアルタイム認識の必要性から,精度と効率の両面での重要性を強調できない。
DNNの弱いデータと高い計算消費の対立を軽減するため、我々はスピリット蒸留(SD)と呼ばれる新しいトレーニングフレームワークを提案する。
微細チューニングに基づく伝達学習(FTT)と特徴に基づく知識蒸留の考え方を拡張している。
教師に特徴抽出を模倣させることにより、教師と生徒のネットワーク間の一般的な特徴のギャップを橋渡しする。
様々な領域から画像をシャッフルし,ランダムに数個をミニバッチとして選択するイメージパーティ蒸留促進法(ip法)も提案されている。
このアプローチにより、教師ネットワークの一般的な特徴に対する学生ネットワークの過度な適合を回避できる。
CityScapesではCOCO2017とKITTIの推進による説得的な実験と議論が行われている。
その結果、セグメンテーションにおける高速化性能(mIOUと高精度精度)は、それぞれ1.4%と8.2%向上し、78.2%の出力分散が得られた。
1).
本稿では,少人数学習に応用する知識蒸留の先駆的研究である。
提案手法は,DNNのトレーニングデータへの依存を著しく低減し,DNNが稀な状況に直面した際の堅牢性を向上させる。
自動運転のためのシーン認識技術の進歩に重要な技術支援を提供する。
関連論文リスト
- Self-Distillation Learning Based on Temporal-Spatial Consistency for Spiking Neural Networks [3.7748662901422807]
スパイキングニューラルネットワーク(SNN)は、その事象駆動性、低消費電力特性、高い生物学的解釈性によって大きな注目を集めている。
近年,教員モデルによるSNNモデルの性能向上が報告されている。
本稿では,これらの問題を回避するために,コスト効率の高いSNNの自己蒸留学習について検討する。
論文 参考訳（メタデータ） (2024-06-12T04:30:40Z) - Knowledge Distillation on Spatial-Temporal Graph Convolutional Network for Traffic Prediction [3.0450307343472405]
複雑なネットワーク(教師)からの蒸留データを用いて、より少ないパラメータ(学生)でネットワークを訓練するコスト関数を導入する。
我々は,教師ネットワークから空間時間相関を取り入れた知識蒸留を用いて,教師が知覚する複雑なパターンを学習できるようにする。
本手法は,ネットワークパラメータのわずか3%を保持しても,教師の精度に近い精度を維持することができる。
論文 参考訳（メタデータ） (2024-01-22T09:54:49Z) - Feature-domain Adaptive Contrastive Distillation for Efficient Single
Image Super-Resolution [3.2453621806729234]
CNNベースのSISRは、多くのパラメータと高い計算コストを持ち、より良い性能を実現している。
知識蒸留(KD)は教師の有用な知識を学生に伝達する。
本稿では,軽量なSISRネットワークを効率的に訓練するための特徴領域適応型コントラスト蒸留(FACD)手法を提案する。
論文 参考訳（メタデータ） (2022-11-29T06:24:14Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。
各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
論文 参考訳（メタデータ） (2022-05-28T16:11:49Z) - lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for
Efficient Unsupervised Continual Learning on Autonomous Agents [14.916996986290902]
効率的な教師なし連続学習のための低精度SNN処理を可能にする新しい手法であるlpSpikeConを提案する。
我々のlpSpikeConは、教師なし連続学習によるオンライントレーニングを行うために、SNNモデルの重量記憶を8倍(すなわち、4ビットの重みを司法的に採用することで)削減することができる。
論文 参考訳（メタデータ） (2022-05-24T18:08:16Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - Dual Discriminator Adversarial Distillation for Data-free Model
Compression [36.49964835173507]
我々は、トレーニングデータやメタデータを使わずにニューラルネットワークを蒸留するために、Dual Discriminator Adversarial Distillation (DDAD)を提案する。
具体的には, 生成器を用いて, 元のトレーニングデータを模倣した二重判別器の対数蒸留法を用いてサンプルを作成する。
提案手法は,教師のネットワークを近い距離で近似する効率的な学生ネットワークである。
論文 参考訳（メタデータ） (2021-04-12T12:01:45Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - On Self-Distilling Graph Neural Network [64.00508355508106]
GNN自己蒸留(GNN-SD)と呼ばれるGNNに対する教師なし知識蒸留法を提案する。
本手法は, 組込みグラフの非平滑性を効率よく定量化する, 提案した近傍不一致率(NDR)に基づいて構築する。
また、他の蒸留戦略の誘導に活用できる汎用的なGNN-SDフレームワークについても要約する。
論文 参考訳（メタデータ） (2020-11-04T12:29:33Z) - Circumventing Outliers of AutoAugment with Knowledge Distillation [102.25991455094832]
AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムである。
本論文は作業機構を深く掘り下げ,AutoAugmentがトレーニング画像から識別情報の一部を除去できることを明らかにする。
教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。
論文 参考訳（メタデータ） (2020-03-25T11:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。