論文の概要: ClST: A Convolutional Transformer Framework for Automatic Modulation
Recognition by Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2312.17446v1
- Date: Fri, 29 Dec 2023 03:01:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 14:07:25.298264
- Title: ClST: A Convolutional Transformer Framework for Automatic Modulation
Recognition by Knowledge Distillation
- Title（参考訳）: ClST:知識蒸留による自動変調認識のための畳み込みトランスフォーマフレームワーク
- Authors: Dongbin Hou, Lixin Li, Wensheng Lin, Junli Liang, Zhu Han
- Abstract要約: 本稿では、畳み込み結合型信号変換器(ClST)という新しいニューラルネットワークと、信号知識蒸留(SKD)という新しい知識蒸留法を提案する。
SKDは、ニューラルネットワークのパラメータと複雑さを効果的に削減する知識蒸留法である。
我々は、SKDアルゴリズムであるKD-CNNとKD-MobileNetを使って、2つの軽量ニューラルネットワークをトレーニングし、ニューラルネットワークを小型デバイスで使用できるという要求を満たす。
- 参考スコア（独自算出の注目度）: 23.068233043023834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of deep learning (DL) in recent years, automatic
modulation recognition (AMR) with DL has achieved high accuracy. However,
insufficient training signal data in complicated channel environments and
large-scale DL models are critical factors that make DL methods difficult to
deploy in practice. Aiming to these problems, we propose a novel neural network
named convolution-linked signal transformer (ClST) and a novel knowledge
distillation method named signal knowledge distillation (SKD). The ClST is
accomplished through three primary modifications: a hierarchy of transformer
containing convolution, a novel attention mechanism named parallel
spatial-channel attention (PSCA) mechanism and a novel convolutional
transformer block named convolution-transformer projection (CTP) to leverage a
convolutional projection. The SKD is a knowledge distillation method to
effectively reduce the parameters and complexity of neural networks. We train
two lightweight neural networks using the SKD algorithm, KD-CNN and
KD-MobileNet, to meet the demand that neural networks can be used on
miniaturized devices. The simulation results demonstrate that the ClST
outperforms advanced neural networks on all datasets. Moreover, both KD-CNN and
KD-MobileNet obtain higher recognition accuracy with less network complexity,
which is very beneficial for the deployment of AMR on miniaturized
communication devices.
- Abstract（参考訳）: 近年のディープラーニング (DL) の急速な発展に伴い, DLを用いた自動変調認識 (AMR) の精度が向上した。
しかし、複雑なチャネル環境や大規模DLモデルにおける訓練信号データ不足は、DL手法の展開を難しくする重要な要因である。
そこで,本研究では,畳み込み結合信号変換(clst)と呼ばれる新しいニューラルネットワークと,信号知識蒸留(skd)と呼ばれる新しい知識蒸留法を提案する。
ClSTは、畳み込みを含むトランスフォーマー階層、平行空間チャネルアテンション(PSCA)機構と呼ばれる新しいアテンション機構、畳み込み-トランスフォーマープロジェクション(CTP)と呼ばれる新しい畳み込みトランスフォーマーブロックの3つの主要な修正によって達成される。
SKDは、ニューラルネットワークのパラメータと複雑さを効果的に削減する知識蒸留法である。
2つの軽量ニューラルネットワークをskdアルゴリズム、kd-cnnとkd-mobilenetを用いてトレーニングし、ニューラルネットワークを小型デバイスで使用できるというニーズを満たす。
シミュレーションの結果、clstはすべてのデータセットで高度なニューラルネットワークを上回ることがわかった。
さらに、kd-cnnとkd-mobilenetは、ネットワークの複雑さを少なくして高い認識精度を得られるため、小型通信デバイスへのamrの展開に非常に有用である。
関連論文リスト
- RLEEGNet: Integrating Brain-Computer Interfaces with Adaptive AI for
Intuitive Responsiveness and High-Accuracy Motor Imagery Classification [0.0]
本稿では,Deep Q-Networks (DQN) を用いた強化学習を分類タスクに活用するフレームワークを提案する。
本稿では,OVR(One-Versus-The-Rest)方式で,マルチクラス運動画像(MI)分類のための前処理手法を提案する。
DQNと1D-CNN-LSTMアーキテクチャの統合は意思決定プロセスをリアルタイムで最適化する。
論文 参考訳（メタデータ） (2024-02-09T02:03:13Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Signal Detection in MIMO Systems with Hardware Imperfections: Message
Passing on Neural Networks [101.59367762974371]
本稿では,Multi-Input-multiple-output (MIMO)通信システムにおける信号検出について検討する。
パイロット信号が限られているディープニューラルネットワーク(DNN)のトレーニングは困難であり、実用化を妨げている。
我々は、ユニタリ近似メッセージパッシング(UAMP)アルゴリズムを利用して、効率的なメッセージパッシングに基づくベイズ信号検出器を設計する。
論文 参考訳（メタデータ） (2022-10-08T04:32:58Z) - PulseDL-II: A System-on-Chip Neural Network Accelerator for Timing and
Energy Extraction of Nuclear Detector Signals [3.307097167756987]
本稿では,深層学習を持つパルスからイベント特徴(時間,エネルギーなど)を抽出するためのシステムオンチップ(SoC)であるPulseDL-IIを紹介する。
提案システムは, 47.4dBの信号対雑音比(SNR)において, オンラインニューラルネットワークを用いた60psの時間分解能と0.40%のエネルギー分解能を得た。
論文 参考訳（メタデータ） (2022-09-02T08:52:21Z) - Bayesian Neural Network Language Modeling for Speech Recognition [59.681758762712754]
長期記憶リカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端のニューラルネットワーク言語モデル(NNLM)は非常に複雑になりつつある。
本稿では,LSTM-RNN と Transformer LM の基盤となる不確実性を考慮するために,ベイズ学習フレームワークの全体構造を提案する。
論文 参考訳（メタデータ） (2022-08-28T17:50:19Z) - Model-based Deep Learning Receiver Design for Rate-Splitting Multiple
Access [65.21117658030235]
本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。
MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。
その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
論文 参考訳（メタデータ） (2022-05-02T12:23:55Z) - Deep Convolutional Learning-Aided Detector for Generalized Frequency
Division Multiplexing with Index Modulation [0.0]
提案手法は、まずゼロフォース検出器(ZF)を用いて受信信号を前処理し、その後、畳み込みニューラルネットワーク(CNN)と完全連結ニューラルネットワーク(FCNN)からなるニューラルネットワークを用いる。
FCNN部は2つの完全に接続された層しか使用せず、複雑さとBER(bit error rate)パフォーマンスのトレードオフをもたらすことができる。
提案したディープ畳み込みニューラルネットワークに基づく検出・復調方式は,ZF検出器よりも高いBER性能を示し,複雑性が増大することが実証されている。
論文 参考訳（メタデータ） (2022-02-06T22:18:42Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Online Training of Spiking Recurrent Neural Networks with Phase-Change
Memory Synapses [1.9809266426888898]
専用のニューロモルフィックハードウェア上でのスパイクニューラルネットワーク(RNN)のトレーニングは、依然としてオープンな課題である。
本稿では,PCMデバイスモデルに基づく差分構造アレイのシミュレーションフレームワークを提案する。
我々は,最近提案されたe-prop学習規則を用いて,提案したシミュレーションフレームワークに重みをエミュレートしたスパイクRNNを訓練する。
論文 参考訳（メタデータ） (2021-08-04T01:24:17Z) - Supervised training of spiking neural networks for robust deployment on
mixed-signal neuromorphic processors [2.6949002029513167]
混合信号アナログ/デジタル電子回路はスパイキングニューロンやシナプスを非常に高いエネルギー効率でエミュレートすることができる。
ミスマッチは、同一構成ニューロンとシナプスの効果的なパラメータの違いとして表現される。
ミスマッチに対する堅牢性や,その他の一般的なノイズ源を最大化することで,この課題に対処する,教師付き学習アプローチを提案する。
論文 参考訳（メタデータ） (2021-02-12T09:20:49Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。