論文の概要: Regression-Oriented Knowledge Distillation for Lightweight Ship
Orientation Angle Prediction with Optical Remote Sensing Images
- arxiv url: http://arxiv.org/abs/2307.06566v1
- Date: Thu, 13 Jul 2023 05:36:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-14 15:54:27.790429
- Title: Regression-Oriented Knowledge Distillation for Lightweight Ship
Orientation Angle Prediction with Optical Remote Sensing Images
- Title(参考訳): 光リモートセンシング画像を用いた軽量船舶方位角予測のための回帰型知識蒸留
- Authors: Zhan Shi, Xin Ding, Peng Ding, Chun Yang, Ru Huang, Xiaoxuan Song
- Abstract要約: 光リモートセンシング画像を用いた船舶方位角予測(SOAP)は重要な画像処理課題である。
本稿では、予測精度を損なうことなく、SOAPモデルのモデルサイズと計算コストを削減できる新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 11.466933077766052
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Ship orientation angle prediction (SOAP) with optical remote sensing images
is an important image processing task, which often relies on deep convolutional
neural networks (CNNs) to make accurate predictions. This paper proposes a
novel framework to reduce the model sizes and computational costs of SOAP
models without harming prediction accuracy. First, a new SOAP model called
Mobile-SOAP is designed based on MobileNetV2, achieving state-of-the-art
prediction accuracy. Four tiny SOAP models are also created by replacing the
convolutional blocks in Mobile-SOAP with four small-scale networks,
respectively. Then, to transfer knowledge from Mobile-SOAP to four lightweight
models, we propose a novel knowledge distillation (KD) framework termed SOAP-KD
consisting of a novel feature-based guidance loss and an optimized synthetic
samples-based knowledge transfer mechanism. Lastly, extensive experiments on
the FGSC-23 dataset confirm the superiority of Mobile-SOAP over existing models
and also demonstrate the effectiveness of SOAP-KD in improving the prediction
performance of four specially designed tiny models. Notably, by using SOAP-KD,
the test mean absolute error of the ShuffleNetV2x1.0-based model is only 8%
higher than that of Mobile-SOAP, but its number of parameters and
multiply-accumulate operations (MACs) are respectively 61.6% and 60.8% less.
- Abstract(参考訳): 光リモートセンシング画像を用いた船舶配向角予測(SOAP)は、しばしば正確な予測を行うために深層畳み込みニューラルネットワーク(CNN)に依存する重要な画像処理タスクである。
本稿では,予測精度を損なうことなく,SOAPモデルのモデルサイズと計算コストを削減する新しいフレームワークを提案する。
まず、Mobile-SOAPと呼ばれる新しいSOAPモデルはMobileNetV2に基づいて設計され、最先端の予測精度を達成する。
また、Mobile-SOAPの畳み込みブロックを4つの小さなネットワークに置き換えることで、4つの小さなSOAPモデルも作成されます。
そして,モバイルSOAPから4つの軽量モデルに知識を伝達するために,新しい特徴に基づくガイダンス損失と,最適化された合成サンプルベースの知識伝達機構からなる新しい知識蒸留(KD)フレームワークを提案する。
最後に、FGSC-23データセットの広範な実験により、既存のモデルよりもMobile-SOAPの方が優れていることが確認され、また、4つの特別に設計された小型モデルの予測性能を向上させるSOAP-KDの有効性が示された。
特に、SOAP-KDを使用すると、ShuffleNetV2x1.0ベースのモデルの絶対誤差はMobile-SOAPよりもわずか8%高いが、パラメータの数と乗算演算(MAC)はそれぞれ61.6%、60.8%少ない。
関連論文リスト
- Efficient Apple Maturity and Damage Assessment: A Lightweight Detection
Model with GAN and Attention Mechanism [7.742643088073472]
本研究では,軽量畳み込みニューラルネットワーク(CNN)とGAN(Generative Adversarial Network)に基づく手法を提案する。
リンゴ熟度グレーディング検出では, それぞれ95.6%, 93.8%, 95.0%, 56.5の精度, リコール, 精度, FPSが得られた。
リンゴの損傷レベル検出では、提案モデルはそれぞれ95.3%、93.7%、94.5%の精度、リコール、mAPに達する。
論文 参考訳(メタデータ) (2023-10-13T18:22:30Z) - An Adam-enhanced Particle Swarm Optimizer for Latent Factor Analysis [6.960453648000231]
本稿では,逐次PSOアルゴリズムを用いて潜在因子を改良したAdam-enhanced Hierarchical PSO-LFAモデルを提案する。
4つの実データセットに対する実験結果から,提案モデルがピアで高い予測精度を実現することを示す。
論文 参考訳(メタデータ) (2023-02-23T12:10:59Z) - Q-Diffusion: Quantizing Diffusion Models [52.978047249670276]
ポストトレーニング量子化(PTQ)は、他のタスクに対するゴーツー圧縮法であると考えられている。
本稿では,一意なマルチステップパイプラインとモデルアーキテクチャに適した新しいPTQ手法を提案する。
提案手法は,完全精度の非条件拡散モデルを同等の性能を維持しつつ4ビットに定量化できることを示す。
論文 参考訳(メタデータ) (2023-02-08T19:38:59Z) - A Light-weight CNN Model for Efficient Parkinson's Disease Diagnostics [1.382077805849933]
提案モデルは,時系列信号の特性を適応させるために,畳み込みニューラルネットワーク(CNN)から短期記憶(LSTM)へと変換される。
実験結果から,提案モデルでは,パラメータや操作がはるかに少ない複数の評価指標に対して,高品質な診断結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-02-02T09:49:07Z) - Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。
擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。
これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
論文 参考訳(メタデータ) (2022-10-25T16:22:23Z) - Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing
Things [82.15959827765325]
環境支援型生活(AAL)のためのマルチモーダルセンサフュージョンの新しいアプローチを提案する。
我々は、標準マルチモーダルアプローチの2つの大きな欠点、限られた範囲のカバレッジ、信頼性の低下に対処する。
我々の新しいフレームワークは、三重項学習によるモダリティ幻覚の概念を融合させ、異なるモダリティを持つモデルを訓練し、推論時に欠落したセンサーに対処する。
論文 参考訳(メタデータ) (2022-07-14T10:04:18Z) - Fake It Till You Make It: Near-Distribution Novelty Detection by
Score-Based Generative Models [54.182955830194445]
既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。
本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。
本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
論文 参考訳(メタデータ) (2022-05-28T02:02:53Z) - Exploration of Various Deep Learning Models for Increased Accuracy in
Automatic Polyp Detection [62.997667081978825]
本稿では,大腸内視鏡画像におけるポリプの検出精度が高いディープラーニングモデルとアルゴリズムについて検討する。
畳み込みニューラルネットワーク(CNN)を用いたディープラーニングの研究
論文 参考訳(メタデータ) (2022-03-04T04:03:41Z) - Compact CNN Models for On-device Ocular-based User Recognition in Mobile
Devices [0.0]
本研究は,5つのニューラルネットワークプルーニング手法を評価し,眼画像を用いたデバイス上のCNN推論とモバイルユーザ検証のための知識蒸留法と比較する。
VISOB と UPFR-Periocular データセットの主観的非依存分析により,ResNet50 をベースモデルとしたモバイル眼球認証において,圧縮速度 8 の階層的等級別プルーニングの有効性が示唆された。
さらに,5つのモバイルデバイス上での深部特徴抽出時間として測定された実時間推定と検証精度の観点から,プルーニング法に対する知識蒸留の有効性が示唆された。
論文 参考訳(メタデータ) (2021-10-11T01:23:07Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - Rainfall-runoff prediction using a Gustafson-Kessel clustering based
Takagi-Sugeno Fuzzy model [0.0]
降雨流出モデルは、物理的アプローチまたはシステムベースのアプローチを用いて表面流出を予測する。
本稿では,Gustafson-Kesselクラスタリングに基づくTS Fuzzyモデルを用いた降雨流出モデルを提案する。
論文 参考訳(メタデータ) (2021-08-22T10:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。