論文の概要: Guided Hybrid Quantization for Object detection in Multimodal Remote Sensing Imagery via One-to-one Self-teaching

• arxiv url: http://arxiv.org/abs/2301.00131v1
• Date: Sat, 31 Dec 2022 06:14:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 15:03:18.264460
• Title: Guided Hybrid Quantization for Object detection in Multimodal Remote Sensing Imagery via One-to-one Self-teaching
• Title（参考訳）: 1対1自己指導によるマルチモーダルリモートセンシング画像における物体検出のための誘導ハイブリッド量子化
• Authors: Jiaqing Zhang, Jie Lei, Weiying Xie, Yunsong Li, Xiuping Jia
• Abstract要約: 本稿では,1対1の自己学習(GHOST)フレームワークを用いたハイブリッド量子化手法を提案する。 まず, 導電性量子化自己蒸留(GQSD)と呼ばれる構造を設計する。 第3に、情報変換を改善するために、学生ネットワークに自己判断能力を与える1対1の自己学習モジュールを提案する。
• 参考スコア（独自算出の注目度）: 35.316067181895264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering the computation complexity, we propose a Guided Hybrid Quantization with One-to-one Self-Teaching (GHOST}) framework. More concretely, we first design a structure called guided quantization self-distillation (GQSD), which is an innovative idea for realizing lightweight through the synergy of quantization and distillation. The training process of the quantization model is guided by its full-precision model, which is time-saving and cost-saving without preparing a huge pre-trained model in advance. Second, we put forward a hybrid quantization (HQ) module to obtain the optimal bit width automatically under a constrained condition where a threshold for distribution distance between the center and samples is applied in the weight value search space. Third, in order to improve information transformation, we propose a one-to-one self-teaching (OST) module to give the student network a ability of self-judgment. A switch control machine (SCM) builds a bridge between the student network and teacher network in the same location to help the teacher to reduce wrong guidance and impart vital knowledge to the student. This distillation method allows a model to learn from itself and gain substantial improvement without any additional supervision. Extensive experiments on a multimodal dataset (VEDAI) and single-modality datasets (DOTA, NWPU, and DIOR) show that object detection based on GHOST outperforms the existing detectors. The tiny parameters (<9.7 MB) and Bit-Operations (BOPs) (<2158 G) compared with any remote sensing-based, lightweight or distillation-based algorithms demonstrate the superiority in the lightweight design domain. Our code and model will be released at https://github.com/icey-zhang/GHOST.
• Abstract（参考訳）: 計算の複雑さを考慮し、1対1の自己学習(GHOST)フレームワークを用いたガイド付きハイブリッド量子化を提案する。 より具体的には、まず誘導量子化自己蒸留(gqsd)と呼ばれる構造を設計し、量子化と蒸留の相乗効果によって軽量化を実現する革新的なアイデアである。 量子化モデルのトレーニングプロセスは、前もって巨大な事前学習モデルを作成することなく、時間節約とコスト削減が可能なフル精度モデルによって導かれる。 次に,重み値探索空間に中心とサンプルとの分布距離のしきい値を適用した制約条件下で,最適なビット幅を自動的に取得するためのハイブリッド量子化(hq)モジュールを提案する。 第3に,情報変換を改善するために,学生ネットワークに自己判断能力を与えるための1対1の自己指導モジュールを提案する。 スイッチ制御機(scm)は、生徒ネットワークと教師ネットワークとの間のブリッジを同じ場所に構築し、教師が間違った指導を減らし、生徒に重要な知識を与えるのを助ける。 この蒸留法は、モデル自体から学習し、追加の監督なしに大幅に改善することができる。 multimodal dataset (vedai) と single-modality dataset (dota, nwpu, dior) に関する広範な実験により、ゴーストに基づく物体検出が既存の検出器よりも優れていることが示されている。 微小パラメータ (9.7 MB) とビット演算 (BOPs) (2158 G) は、あらゆるリモートセンシングベース、軽量、蒸留ベースのアルゴリズムと比較して軽量設計領域の優位性を示している。 私たちのコードとモデルはhttps://github.com/icey-zhang/ghostでリリースします。

関連論文リスト

• Promoting CNNs with Cross-Architecture Knowledge Distillation for Efficient Monocular Depth Estimation [4.242540533823568]
  トランスフォーマーモデルは通常計算に精通し、その軽量モデルにおける有効性は畳み込みと比較して制限される。 本研究では, 最先端変圧器モデルを監督し, 効率的なCNNモデルを構築するために, DisDepth と呼ばれるMDE のクロスアーキテクチャ知識蒸留手法を提案する。 提案手法は, 種々の効率的な背骨に有意な改良を施し, 効率的な単分子深度推定の可能性を示した。
  論文  参考訳（メタデータ） (2024-04-25T07:55:47Z)
• Model-aware reinforcement learning for high-performance Bayesian experimental design in quantum metrology [0.5461938536945721]
  量子センサは、様々なパラメータにわたる実験者による操作を可能にすることで、推定中に制御の柔軟性を提供する。 量子力学、推定、仮説テストにおいて、幅広い問題を最適化できる汎用的な手順を導入する。 粒子フィルタリングに基づくモデル認識強化学習(RL)とベイズ推定を組み合わせた。
  論文  参考訳（メタデータ） (2023-12-28T12:04:15Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Semi-supervised 3D Object Detection with Proficient Teachers [114.54835359657707]
  自律運転のシナリオにおけるクラウドベースの3Dオブジェクト検出器の優位性は、大量の正確なラベル付きサンプルに大きく依存している。 Pseudo-Labeling法はSSLフレームワークで一般的に使用されているが、教師モデルの低品質な予測は、その性能を著しく制限している。 そこで本研究では,教師モデルをさらに高度化することで,半教師付き3次元物体検出のためのPseudo-Labelingフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T04:54:03Z)
• Boosting 3D Object Detection by Simulating Multimodality on Point Clouds [51.87740119160152]
  本稿では,LiDAR 画像検出器に追従する特徴や応答をシミュレートすることで,単一モダリティ (LiDAR) 3次元物体検出器を高速化する新しい手法を提案する。 このアプローチでは、単一モダリティ検出器をトレーニングする場合のみ、LiDARイメージデータを必要とし、十分にトレーニングされた場合には、推論時にのみLiDARデータが必要である。 nuScenesデータセットの実験結果から,本手法はSOTA LiDARのみの3D検出器よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-30T01:44:30Z)
• HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning [14.412066456583917]
  本稿では,支援サンプルから直接畳み込みニューラルネットワーク(CNN)の重みを生成する,少数ショット学習のためのトランスフォーマーベースモデルを提案する。 本手法は,タスク非依存の定型埋め込みの学習が最適でない小ターゲットCNNアーキテクチャにおいて,特に有効である。 提案手法は,サポートセット内のラベルなしサンプルを利用した半教師付きシステムに拡張され,さらにショット性能が向上する。
  論文  参考訳（メタデータ） (2022-01-11T20:15:35Z)
• Transfer learning of phase transitions in percolation and directed percolation [2.0342076109301583]
  本研究では,非平衡・平衡相転移モデルの研究のために,転送学習に基づくドメイン対向ニューラルネットワーク(DANN)を適用した。 両モデルのDANN学習はモンテカルロシミュレーションに匹敵する信頼性の高い結果をもたらす。
  論文  参考訳（メタデータ） (2021-12-31T15:24:09Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。