論文の概要: Data-free Dense Depth Distillation

• arxiv url: http://arxiv.org/abs/2208.12464v1
• Date: Fri, 26 Aug 2022 07:10:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 13:00:05.319055
• Title: Data-free Dense Depth Distillation
• Title（参考訳）: データフリーデンス深度蒸留
• Authors: Junjie Hu and Chenyou Fan and Mete Ozay and Hualie Jiang and Tin Lun Lam
• Abstract要約: 単分子深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討する。 KDは、教師/学生の枠組みの下で訓練されたエキスパートモデルから圧縮することで、現実世界の深度知覚のための軽量ネットワークを学習する。
• 参考スコア（独自算出の注目度）: 26.32669134275065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study data-free knowledge distillation (KD) for monocular depth estimation (MDE), which learns a lightweight network for real-world depth perception by compressing from a trained expert model under the teacher-student framework while lacking training data in the target domain. Owing to the essential difference between dense regression and image recognition, previous methods of data-free KD are not applicable to MDE. To strengthen the applicability in the real world, in this paper, we seek to apply KD with out-of-distribution simulated images. The major challenges are i) lacking prior information about object distribution of the original training data; ii) the domain shift between the real world and the simulation. To cope with the first difficulty, we apply object-wise image mixing to generate new training samples for maximally covering distributed patterns of objects in the target domain. To tackle the second difficulty, we propose to utilize a transformation network that efficiently learns to fit the simulated data to the feature distribution of the teacher model. We evaluate the proposed approach for various depth estimation models and two different datasets. As a result, our method outperforms the baseline KD by a good margin and even achieves slightly better performance with as few as $1/6$ images, demonstrating a clear superiority.
• Abstract（参考訳）: 本研究では,教師・学生の枠組みの下で訓練されたエキスパートモデルから,学習対象領域における学習データを欠くことなく,実世界の深度知覚のための軽量ネットワークを学習する,単眼深度推定のためのデータフリー知識蒸留(KD)について検討する。 密度回帰と画像認識の本質的な違いのため、従来のデータフリーKD法はMDEには適用できない。 本稿では,実世界の適用性を高めるため,kdを分散シミュレーション画像に適用することを目指す。 主な課題は 一 元の訓練データの対象物分布に関する事前情報がないこと。 二 現実世界とシミュレーションの間の領域シフト まず,対象領域内のオブジェクトの分散パターンを最大にカバーする新たなトレーニングサンプルを生成するために,オブジェクト間画像混合を適用した。 第2の難易度に対処するために,教師モデルの特徴分布にシミュレーションデータに適合するように効率的に学習するトランスフォーメーションネットワークを提案する。 様々な深度推定モデルと2つの異なるデータセットに対する提案手法の評価を行った。 その結果,本手法はベースラインkdを高いマージンで上回り,1/6ドルの画像でも若干性能が向上し,明らかな優位性が得られた。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced Spectral and Spatial Fidelity [4.425982186154401]
  本稿では,この手法の可能性をフル活用した,ディープラーニングに基づくパンシャーピングモデルを提案する。 提案モデルでは,パンシャーペンデータのスペクトルと空間的品質を協調的に向上する新たな損失関数を特徴とする。 挑戦的なシナリオで実施された多種多様なテスト画像の実験により,提案手法が技術状況と良好に比較できることが実証された。
  論文  参考訳（メタデータ） (2023-07-26T17:25:28Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
  本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。 このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
  論文  参考訳（メタデータ） (2022-09-30T11:15:03Z)
• Single Image Internal Distribution Measurement Using Non-Local Variational Autoencoder [11.985083962982909]
  本稿では,非局所変分オートエンコーダ(textttNLVAE)という画像固有解を提案する。 textttNLVAEは,非局所領域からの非絡み合った情報を用いて高解像度画像を再構成する自己教師型戦略として導入された。 7つのベンチマークデータセットによる実験結果から,textttNLVAEモデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-04-02T18:43:55Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning [122.51237307910878]
  我々は,画像領域間の最適なマッチングの新しい視点から,少数ショット画像分類法を開発した。 我々は、高密度画像表現間の構造距離を計算するために、Earth Mover's Distance (EMD) を用いている。 定式化において重要な要素の重みを生成するために,我々は相互参照機構を設計する。
  論文  参考訳（メタデータ） (2020-03-15T08:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。