論文の概要: Regression-Oriented Knowledge Distillation for Lightweight Ship Orientation Angle Prediction with Optical Remote Sensing Images

• arxiv url: http://arxiv.org/abs/2307.06566v1
• Date: Thu, 13 Jul 2023 05:36:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 15:54:27.790429
• Title: Regression-Oriented Knowledge Distillation for Lightweight Ship Orientation Angle Prediction with Optical Remote Sensing Images
• Title（参考訳）: 光リモートセンシング画像を用いた軽量船舶方位角予測のための回帰型知識蒸留
• Authors: Zhan Shi, Xin Ding, Peng Ding, Chun Yang, Ru Huang, Xiaoxuan Song
• Abstract要約: 光リモートセンシング画像を用いた船舶方位角予測(SOAP)は重要な画像処理課題である。 本稿では、予測精度を損なうことなく、SOAPモデルのモデルサイズと計算コストを削減できる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.466933077766052
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ship orientation angle prediction (SOAP) with optical remote sensing images is an important image processing task, which often relies on deep convolutional neural networks (CNNs) to make accurate predictions. This paper proposes a novel framework to reduce the model sizes and computational costs of SOAP models without harming prediction accuracy. First, a new SOAP model called Mobile-SOAP is designed based on MobileNetV2, achieving state-of-the-art prediction accuracy. Four tiny SOAP models are also created by replacing the convolutional blocks in Mobile-SOAP with four small-scale networks, respectively. Then, to transfer knowledge from Mobile-SOAP to four lightweight models, we propose a novel knowledge distillation (KD) framework termed SOAP-KD consisting of a novel feature-based guidance loss and an optimized synthetic samples-based knowledge transfer mechanism. Lastly, extensive experiments on the FGSC-23 dataset confirm the superiority of Mobile-SOAP over existing models and also demonstrate the effectiveness of SOAP-KD in improving the prediction performance of four specially designed tiny models. Notably, by using SOAP-KD, the test mean absolute error of the ShuffleNetV2x1.0-based model is only 8% higher than that of Mobile-SOAP, but its number of parameters and multiply-accumulate operations (MACs) are respectively 61.6% and 60.8% less.
• Abstract（参考訳）: 光リモートセンシング画像を用いた船舶配向角予測(SOAP)は、しばしば正確な予測を行うために深層畳み込みニューラルネットワーク(CNN)に依存する重要な画像処理タスクである。 本稿では,予測精度を損なうことなく,SOAPモデルのモデルサイズと計算コストを削減する新しいフレームワークを提案する。 まず、Mobile-SOAPと呼ばれる新しいSOAPモデルはMobileNetV2に基づいて設計され、最先端の予測精度を達成する。 また、Mobile-SOAPの畳み込みブロックを4つの小さなネットワークに置き換えることで、4つの小さなSOAPモデルも作成されます。 そして,モバイルSOAPから4つの軽量モデルに知識を伝達するために,新しい特徴に基づくガイダンス損失と,最適化された合成サンプルベースの知識伝達機構からなる新しい知識蒸留(KD)フレームワークを提案する。 最後に、FGSC-23データセットの広範な実験により、既存のモデルよりもMobile-SOAPの方が優れていることが確認され、また、4つの特別に設計された小型モデルの予測性能を向上させるSOAP-KDの有効性が示された。 特に、SOAP-KDを使用すると、ShuffleNetV2x1.0ベースのモデルの絶対誤差はMobile-SOAPよりもわずか8%高いが、パラメータの数と乗算演算(MAC)はそれぞれ61.6%、60.8%少ない。

関連論文リスト

• Lightweight Weighted Average Ensemble Model for Pneumonia Detection in Chest X-Ray Images [0.0]
  肺炎は小児の病気や死亡の主な原因であり、早期かつ正確な検出の必要性を暗示している。 胸部X線画像を用いた小児の肺炎検出のための軽量アンサンブルモデルを提案する。
  論文  参考訳（メタデータ） (2025-01-27T17:51:29Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• LeYOLO, New Scalable and Efficient CNN Architecture for Object Detection [0.0]
  FLOPに基づく効率的な物体検出のためのニューラルネットワークアーキテクチャの設計選択に着目する。 そこで本研究では,YOLOモデルの有効性を高めるために,いくつかの最適化手法を提案する。 本稿では、オブジェクト検出のための新しいスケーリングパラダイムと、LeYOLOと呼ばれるYOLO中心のモデルに寄与する。
  論文  参考訳（メタデータ） (2024-06-20T12:08:24Z)
• SDPose: Tokenized Pose Estimation via Circulation-Guide Self-Distillation [53.675725490807615]
  SDPoseは小型変圧器モデルの性能向上のための新しい自己蒸留法である。 SDPose-Tは4.4Mパラメータと1.8 GFLOPを持つ69.7%のmAPを取得し、SDPose-S-V2はMSCOCO検証データセット上で73.5%のmAPを取得する。
  論文  参考訳（メタデータ） (2024-04-04T15:23:14Z)
• Efficient Apple Maturity and Damage Assessment: A Lightweight Detection Model with GAN and Attention Mechanism [7.742643088073472]
  本研究では,軽量畳み込みニューラルネットワーク(CNN)とGAN(Generative Adversarial Network)に基づく手法を提案する。 リンゴ熟度グレーディング検出では, それぞれ95.6%, 93.8%, 95.0%, 56.5の精度, リコール, 精度, FPSが得られた。 リンゴの損傷レベル検出では、提案モデルはそれぞれ95.3%、93.7%、94.5%の精度、リコール、mAPに達する。
  論文  参考訳（メタデータ） (2023-10-13T18:22:30Z)
• Lafite2: Few-shot Text-to-Image Generation [132.14211027057766]
  本稿では,画像のみのデータセットを用いたテキスト・画像生成モデルの事前学習手法を提案する。 擬似テキスト特徴を合成する検索テーマ最適化手法を検討する。 これは、数ショット、半教師あり、完全に教師された学習など、幅広い設定で有益である。
  論文  参考訳（メタデータ） (2022-10-25T16:22:23Z)
• Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing Things [82.15959827765325]
  環境支援型生活(AAL)のためのマルチモーダルセンサフュージョンの新しいアプローチを提案する。 我々は、標準マルチモーダルアプローチの2つの大きな欠点、限られた範囲のカバレッジ、信頼性の低下に対処する。 我々の新しいフレームワークは、三重項学習によるモダリティ幻覚の概念を融合させ、異なるモダリティを持つモデルを訓練し、推論時に欠落したセンサーに対処する。
  論文  参考訳（メタデータ） (2022-07-14T10:04:18Z)
• Fake It Till You Make It: Near-Distribution Novelty Detection by Score-Based Generative Models [54.182955830194445]
  既存のモデルは、いわゆる"近く分布"設定で失敗するか、劇的な低下に直面します。 本稿では, スコアに基づく生成モデルを用いて, 合成近分布異常データを生成することを提案する。 本手法は,9つのノベルティ検出ベンチマークにおいて,近分布ノベルティ検出を6%改善し,最先端のノベルティ検出を1%から5%パスする。
  論文  参考訳（メタデータ） (2022-05-28T02:02:53Z)
• Compact CNN Models for On-device Ocular-based User Recognition in Mobile Devices [0.0]
  本研究は,5つのニューラルネットワークプルーニング手法を評価し,眼画像を用いたデバイス上のCNN推論とモバイルユーザ検証のための知識蒸留法と比較する。 VISOB と UPFR-Periocular データセットの主観的非依存分析により,ResNet50 をベースモデルとしたモバイル眼球認証において,圧縮速度 8 の階層的等級別プルーニングの有効性が示唆された。 さらに,5つのモバイルデバイス上での深部特徴抽出時間として測定された実時間推定と検証精度の観点から,プルーニング法に対する知識蒸留の有効性が示唆された。
  論文  参考訳（メタデータ） (2021-10-11T01:23:07Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Rainfall-runoff prediction using a Gustafson-Kessel clustering based Takagi-Sugeno Fuzzy model [0.0]
  降雨流出モデルは、物理的アプローチまたはシステムベースのアプローチを用いて表面流出を予測する。 本稿では,Gustafson-Kesselクラスタリングに基づくTS Fuzzyモデルを用いた降雨流出モデルを提案する。
  論文  参考訳（メタデータ） (2021-08-22T10:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。