論文の概要: Boosting Light-Weight Depth Estimation Via Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2105.06143v3
- Date: Sun, 16 Apr 2023 06:41:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 01:19:29.050337
- Title: Boosting Light-Weight Depth Estimation Via Knowledge Distillation
- Title（参考訳）: 知識蒸留による軽量深度推定の促進
- Authors: Junjie Hu, Chenyou Fan, Hualie Jiang, Xiyue Guo, Yuan Gao, Xiangyong
Lu, and Tin Lun Lam
- Abstract要約: 本稿では,最小限の計算資源を用いて深度マップを正確に推定できる軽量ネットワークを提案する。
モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。
本手法は, パラメータの1%しか使用せず, 最先端手法に匹敵する性能を実現する。
- 参考スコア（独自算出の注目度）: 21.93879961636064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Monocular depth estimation (MDE) methods are often either too computationally
expensive or not accurate enough due to the trade-off between model complexity
and inference performance. In this paper, we propose a lightweight network that
can accurately estimate depth maps using minimal computing resources. We
achieve this by designing a compact model architecture that maximally reduces
model complexity. To improve the performance of our lightweight network, we
adopt knowledge distillation (KD) techniques. We consider a large network as an
expert teacher that accurately estimates depth maps on the target domain. The
student, which is the lightweight network, is then trained to mimic the
teacher's predictions. However, this KD process can be challenging and
insufficient due to the large model capacity gap between the teacher and the
student. To address this, we propose to use auxiliary unlabeled data to guide
KD, enabling the student to better learn from the teacher's predictions. This
approach helps fill the gap between the teacher and the student, resulting in
improved data-driven learning. Our extensive experiments show that our method
achieves comparable performance to state-of-the-art methods while using only 1%
of their parameters. Furthermore, our method outperforms previous lightweight
methods regarding inference accuracy, computational efficiency, and
generalizability.
- Abstract（参考訳）: 単分子深度推定法(MDE)は、しばしば計算コストが高すぎるか、モデル複雑性と推論性能のトレードオフのため正確ではない。
本稿では,最小計算資源を用いて深度マップを正確に推定する軽量ネットワークを提案する。
モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。
軽量ネットワークの性能向上のために,我々は知識蒸留(KD)技術を採用した。
対象領域の深度マップを正確に推定する専門教師として,大規模なネットワークを考える。
生徒は軽量ネットワークであり、教師の予測を真似るように訓練される。
しかし,このKDプロセスは,教師と生徒のモデル容量の差が大きいため,困難かつ不十分である。
そこで本稿では,KDをガイドする補助的未ラベルデータを用いて,教師の予測から学習しやすくすることを提案する。
このアプローチは教師と生徒のギャップを埋め、データ駆動学習を改善するのに役立つ。
提案手法は,そのパラメータの1%のみを用いながら,最先端手法に匹敵する性能が得られることを示す。
さらに,提案手法は,推定精度,計算効率,一般化可能性に関する従来の軽量手法よりも優れていた。
関連論文リスト
- Faithful Label-free Knowledge Distillation [8.572967695281054]
本稿では,中期教師(TinTeM)と呼ばれるラベルフリーな知識蒸留手法を提案する。
より忠実な学生を生み出し、教師ネットワークの振る舞いをよりよく再現し、モデルの堅牢性、一般化可能性、アウト・オブ・ディストリビューション検出などをテストする。
論文 参考訳（メタデータ） (2024-11-22T01:48:44Z) - Improved knowledge distillation by utilizing backward pass knowledge in
neural networks [17.437510399431606]
知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。
本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。
自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
論文 参考訳（メタデータ） (2023-01-27T22:07:38Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳（メタデータ） (2023-01-27T22:04:37Z) - CES-KD: Curriculum-based Expert Selection for Guided Knowledge
Distillation [4.182345120164705]
本稿では,知識蒸留のためのカリキュラムエキスパート選択法(CES-KD)を提案する。
CES-KDは、階層化された教育カリキュラムを使用して学生ネットワークを徐々にガイドすべきという仮説に基づいている。
具体的には、画像の分類の難しさに起因したカリキュラムに基づいて、入力画像ごとに1人の教師を選択する段階的なTAベースのKD手法を提案する。
論文 参考訳（メタデータ） (2022-09-15T21:02:57Z) - Knowledge Distillation with Representative Teacher Keys Based on
Attention Mechanism for Image Classification Model Compression [1.503974529275767]
知識蒸留(KD)はモデルパラメータを減らすためのモデル圧縮の効果的な方法の1つとして認識されている。
注意機構にヒントを得て,代表教師キー(RTK)と呼ばれる新しいKD手法を提案する。
提案するRTKは,最先端の注意に基づくKD手法の分類精度を効果的に向上させることができる。
論文 参考訳（メタデータ） (2022-06-26T05:08:50Z) - Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge
Distillation [70.92135839545314]
本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。
DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
論文 参考訳（メタデータ） (2022-06-13T11:52:13Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - Modality-specific Distillation [30.190082262375395]
マルチモーダルデータセット上の教師から知識を効果的に伝達するモダリティ特異的蒸留(MSD)を提案する。
私たちのアイデアは、各モダリティの補助損失項を導入して、教師のモダリティ特異的予測を模倣することを目指しています。
各モダリティは予測に異なる重要性を持つため、補助的損失に対する重み付けアプローチも提案する。
論文 参考訳（メタデータ） (2021-01-06T05:45:07Z) - Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。
そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。
提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
論文 参考訳（メタデータ） (2020-12-24T19:34:56Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z) - Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。
提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文 参考訳（メタデータ） (2020-05-02T06:56:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。