論文の概要: Dense Depth Distillation with Out-of-Distribution Simulated Images

• arxiv url: http://arxiv.org/abs/2208.12464v3
• Date: Fri, 8 Dec 2023 04:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 19:23:03.260732
• Title: Dense Depth Distillation with Out-of-Distribution Simulated Images
• Title（参考訳）: 分布外画像を用いた高密度深度蒸留
• Authors: Junjie Hu and Chenyou Fan and Mete Ozay and Hualie Jiang and Tin Lun Lam
• Abstract要約: 単分子深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討する。 KDは、訓練された教師モデルからそれを圧縮し、対象領域でのトレーニングデータを欠くことにより、現実世界の深度知覚タスクの軽量モデルを学ぶ。 提案手法は, トレーニング画像の1/6に留まらず, ベースラインKDのマージンが良好であり, 性能も若干向上していることを示す。
• 参考スコア（独自算出の注目度）: 30.79756881887895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study data-free knowledge distillation (KD) for monocular depth estimation (MDE), which learns a lightweight model for real-world depth perception tasks by compressing it from a trained teacher model while lacking training data in the target domain. Owing to the essential difference between image classification and dense regression, previous methods of data-free KD are not applicable to MDE. To strengthen its applicability in real-world tasks, in this paper, we propose to apply KD with out-of-distribution simulated images. The major challenges to be resolved are i) lacking prior information about scene configurations of real-world training data and ii) domain shift between simulated and real-world images. To cope with these difficulties, we propose a tailored framework for depth distillation. The framework generates new training samples for embracing a multitude of possible object arrangements in the target domain and utilizes a transformation network to efficiently adapt them to the feature statistics preserved in the teacher model. Through extensive experiments on various depth estimation models and two different datasets, we show that our method outperforms the baseline KD by a good margin and even achieves slightly better performance with as few as 1/6 of training images, demonstrating a clear superiority.
• Abstract（参考訳）: 本研究では,単眼深度推定(MDE)のためのデータフリー知識蒸留(KD)について検討し,実世界の深度知覚タスクの軽量モデルについて,教師モデルから圧縮し,対象領域のトレーニングデータを欠いたまま学習する。 画像分類と濃厚回帰には本質的な差異があるため,mdeには従来データフリーkdの手法は適用できない。 本稿では,実世界の課題に適用性を高めるため,kdを分散シミュレーション画像に適用することを提案する。 解決すべき主な課題は 一 実世界の訓練データのシーン構成に関する事前情報がないこと。 二 シミュレーション画像と実世界の画像との領域シフト これらの問題に対処するため, 深度蒸留に適した枠組みを提案する。 このフレームワークは、ターゲットドメインに複数の可能なオブジェクト配置を受け入れるための新しいトレーニングサンプルを生成し、変換ネットワークを利用して教師モデルに保存された特徴統計に効率的に適応する。 様々な深度推定モデルと2つの異なるデータセットに関する広範な実験により,本手法はベースラインKDよりも良好なマージンを達成し,トレーニング画像の1/6までをわずかに向上させ,明らかな優位性を示した。

関連論文リスト

• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced Spectral and Spatial Fidelity [4.425982186154401]
  本稿では,この手法の可能性をフル活用した,ディープラーニングに基づくパンシャーピングモデルを提案する。 提案モデルでは,パンシャーペンデータのスペクトルと空間的品質を協調的に向上する新たな損失関数を特徴とする。 挑戦的なシナリオで実施された多種多様なテスト画像の実験により,提案手法が技術状況と良好に比較できることが実証された。
  論文  参考訳（メタデータ） (2023-07-26T17:25:28Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
  本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。 このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
  論文  参考訳（メタデータ） (2022-09-30T11:15:03Z)
• Single Image Internal Distribution Measurement Using Non-Local Variational Autoencoder [11.985083962982909]
  本稿では,非局所変分オートエンコーダ(textttNLVAE)という画像固有解を提案する。 textttNLVAEは,非局所領域からの非絡み合った情報を用いて高解像度画像を再構成する自己教師型戦略として導入された。 7つのベンチマークデータセットによる実験結果から,textttNLVAEモデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-04-02T18:43:55Z)
• An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
  カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。 正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T02:27:55Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• DeepEMD: Differentiable Earth Mover's Distance for Few-Shot Learning [122.51237307910878]
  我々は,画像領域間の最適なマッチングの新しい視点から,少数ショット画像分類法を開発した。 我々は、高密度画像表現間の構造距離を計算するために、Earth Mover's Distance (EMD) を用いている。 定式化において重要な要素の重みを生成するために,我々は相互参照機構を設計する。
  論文  参考訳（メタデータ） (2020-03-15T08:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。