論文の概要: Maximum Likelihood Distillation for Robust Modulation Classification

• arxiv url: http://arxiv.org/abs/2211.00748v1
• Date: Tue, 1 Nov 2022 21:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 14:31:03.526039
• Title: Maximum Likelihood Distillation for Robust Modulation Classification
• Title（参考訳）: ロバスト変調分類のための最大度蒸留
• Authors: Javier Maroto, G\'er\^ome Bovet and Pascal Frossard
• Abstract要約: 我々は、より堅牢なAMCシステムを構築するために、知識蒸留のアイデアと敵の訓練に基づいて構築する。 オフライン環境でのAMC問題を解消し,より優れたトレーニングラベルを生成するためのMaximum Likelihood関数を提案する。
• 参考スコア（独自算出の注目度）: 50.51144496609274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks are being extensively used in communication systems and Automatic Modulation Classification (AMC) in particular. However, they are very susceptible to small adversarial perturbations that are carefully crafted to change the network decision. In this work, we build on knowledge distillation ideas and adversarial training in order to build more robust AMC systems. We first outline the importance of the quality of the training data in terms of accuracy and robustness of the model. We then propose to use the Maximum Likelihood function, which could solve the AMC problem in offline settings, to generate better training labels. Those labels teach the model to be uncertain in challenging conditions, which permits to increase the accuracy, as well as the robustness of the model when combined with adversarial training. Interestingly, we observe that this increase in performance transfers to online settings, where the Maximum Likelihood function cannot be used in practice. Overall, this work highlights the potential of learning to be uncertain in difficult scenarios, compared to directly removing label noise.
• Abstract（参考訳）: ディープニューラルネットワークは特に通信システムや自動変調分類(AMC)で広く利用されている。 しかし、ネットワークの決定を変えるために慎重に作られた小さな敵の摂動に非常に影響を受けやすい。 本研究では,より堅牢なAMCシステムを構築するために,知識蒸留のアイデアと敵の訓練に基づいて構築する。 まず,モデルの正確性と堅牢性の観点から,トレーニングデータの品質の重要性について概説する。 次に、オフライン設定におけるAMC問題の解決が可能なMaximum Likelihood関数を用いて、より良いトレーニングラベルを生成することを提案する。 これらのラベルは、困難条件下でモデルに不確実性を教えるため、精度を高めるとともに、敵の訓練と組み合わせることでモデルの堅牢性を高めることができる。 興味深いことに、このパフォーマンス転送の増大はオンライン設定に反映され、そこでは最大様相関数は実際には使用できない。 この研究は、ラベルノイズを直接除去するよりも、難しいシナリオで学習が不確実である可能性を強調している。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Optimal design of experiments in the context of machine-learning inter-atomic potentials: improving the efficiency and transferability of kernel based methods [0.7234862895932991]
  原子間相互作用のデータ駆動機械学習(ML)モデルは、原子配列のニュアンスな側面をエネルギーと力の予測に関連付けることができる。 主な課題は、化学環境のディスクリプタが、よく明確に定義された連続計量のない高次元の物体であるという事実に起因している。 実験の統計的計画と最適設計の古典的な概念は、そのような問題を比較的低い計算コストで緩和するのに役立つことを実証する。
  論文  参考訳（メタデータ） (2024-05-14T14:14:23Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• SafeAMC: Adversarial training for robust modulation recognition models [53.391095789289736]
  通信システムには、Deep Neural Networks(DNN)モデルに依存する変調認識など、多くのタスクがある。 これらのモデルは、逆方向の摂動、すなわち、誤分類を引き起こすために作られた知覚不能な付加音に影響を受けやすいことが示されている。 本稿では,自動変調認識モデルのロバスト性を高めるために,逆方向の摂動を伴うモデルを微調整する逆方向トレーニングを提案する。
  論文  参考訳（メタデータ） (2021-05-28T11:29:04Z)
• Frequency-based Automated Modulation Classification in the Presence of Adversaries [17.930854969511046]
  本稿では、転送可能な対角干渉に耐えられるディープラーニングモデルからなる新しい受信アーキテクチャを提案する。 本研究では、リカレントニューラルネットワーク(RNN)では30%以上、畳み込みニューラルネットワーク(CNN)では50%以上の性能向上を示す。
  論文  参考訳（メタデータ） (2020-11-02T17:12:22Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。