論文の概要: Self-Supervised Keypoint Detection with Distilled Depth Keypoint Representation

• arxiv url: http://arxiv.org/abs/2410.14700v1
• Date: Fri, 04 Oct 2024 22:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 05:40:53.849349
• Title: Self-Supervised Keypoint Detection with Distilled Depth Keypoint Representation
• Title（参考訳）: 蒸留深度キーポイント表現を用いた自己教師付きキーポイント検出
• Authors: Aman Anand, Elyas Rashno, Amir Eskandari, Farhana Zulkernine,
• Abstract要約: Distill-DKPは,キーポイント検出のためのクロスモーダルな知識蒸留フレームワークである。 Distill-DKPは、深度に基づく教師モデルから埋め込みレベルの知識を抽出し、画像に基づく学生モデルを指導する。 実験により、Distill-DKPは従来の教師なし手法よりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 0.8136541584281987
• License:
• Abstract: Existing unsupervised keypoint detection methods apply artificial deformations to images such as masking a significant portion of images and using reconstruction of original image as a learning objective to detect keypoints. However, this approach lacks depth information in the image and often detects keypoints on the background. To address this, we propose Distill-DKP, a novel cross-modal knowledge distillation framework that leverages depth maps and RGB images for keypoint detection in a self-supervised setting. During training, Distill-DKP extracts embedding-level knowledge from a depth-based teacher model to guide an image-based student model with inference restricted to the student. Experiments show that Distill-DKP significantly outperforms previous unsupervised methods by reducing mean L2 error by 47.15% on Human3.6M, mean average error by 5.67% on Taichi, and improving keypoints accuracy by 1.3% on DeepFashion dataset. Detailed ablation studies demonstrate the sensitivity of knowledge distillation across different layers of the network. Project Page: https://23wm13.github.io/distill-dkp/
• Abstract（参考訳）: 既存の教師なしキーポイント検出手法では、画像のかなりの部分をマスキングしたり、元の画像の再構成をキーポイント検出の学習目的として利用するなど、画像に人工的な変形を適用している。 しかし、このアプローチは画像の奥行き情報に欠けており、しばしば背景のキーポイントを検出する。 そこで本稿では, 自己教師型環境でのキーポイント検出に深度マップとRGB画像を利用する, クロスモーダルな知識蒸留フレームワークであるDistill-DKPを提案する。 Distill-DKPは、深度に基づく教師モデルから埋め込みレベルの知識を抽出し、学生に限定したイメージベースの学生モデルを誘導する。 Distill-DKPは、Human3.6Mで平均L2エラーを47.15%減らし、Taichiで平均エラーを5.67%減らし、DeepFashionデータセットでキーポイントの精度を1.3%改善することで、従来の教師なし手法を著しく上回っている。 詳細なアブレーション研究は、ネットワークの異なる層にまたがる知識蒸留の感度を示す。 Project Page: https://23wm13.github.io/distill-dkp/

関連論文リスト

• Knowledge Distillation for 6D Pose Estimation by Keypoint Distribution Alignment [77.70208382044355]
  6次元ポーズ推定のための最初の知識蒸留法を提案する。 我々は,コンパクトな学生ネットワークを観察し,正確な2次元キーポイント位置の予測に苦慮する。 いくつかのベンチマーク実験により, 蒸留法が得られた結果が得られた。
  論文  参考訳（メタデータ） (2022-05-30T10:17:17Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• CutPaste: Self-Supervised Learning for Anomaly Detection and Localization [59.719925639875036]
  通常のトレーニングデータのみを用いて異常検知器を構築するためのフレームワークを提案する。 まず、自己教師付き深層表現を学習し、学習した表現の上に生成的1クラス分類器を構築する。 MVTec異常検出データセットに関する実証研究は,提案アルゴリズムが実世界の様々な欠陥を検出可能であることを実証している。
  論文  参考訳（メタデータ） (2021-04-08T19:04:55Z)
• Learning to Recognize Patch-Wise Consistency for Deepfake Detection [39.186451993950044]
  パッチワイド一貫性学習(PCL)という,このタスクのための表現学習手法を提案する。 PCLは、画像のソース機能の一貫性を測定し、複数の偽造方法に対する優れた解釈性と堅牢性で表現することを学びます。 7つの一般的なDeepfake検出データセットに対するアプローチを評価します。
  論文  参考訳（メタデータ） (2020-12-16T23:06:56Z)
• Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration [77.1056200937214]
  本研究では,ぼかしと深度情報をリンクするDPペアの形成について検討する。 本稿では,画像の深さを共同で推定し,復元するためのエンドツーエンドDDDNet(DPベースのDepth and De Network)を提案する。
  論文  参考訳（メタデータ） (2020-12-01T06:53:57Z)
• Learning a Geometric Representation for Data-Efficient Depth Estimation via Gradient Field and Contrastive Loss [29.798579906253696]
  本研究では、コンブネットがラベルのない画像で幾何学的情報を抽出するのを支援するために、運動量差の少ない勾配に基づく自己教師付き学習アルゴリズムを提案する。 提案手法は,従来の自己教師付き学習アルゴリズムよりも優れ,ラベル付きデータの効率を3倍に向上させる。
  論文  参考訳（メタデータ） (2020-11-06T06:47:19Z)
• Towards Keypoint Guided Self-Supervised Depth Estimation [0.0]
  入力画像の集合から深度マップ推定を学習するために,キーポイントを自己スーパービジョンの手がかりとして利用する。 キーポイント抽出手法を使わずに深度モデルを学習することにより,キーポイントを用いて深度推定学習を改善することを示す。
  論文  参考訳（メタデータ） (2020-11-05T20:45:03Z)
• Cascade Network for Self-Supervised Monocular Depth Estimation [0.07161783472741746]
  本稿では,カスケードネットワークに基づく自己教師型学習手法を提案する。 従来の自己監督手法と比較して精度と信頼性が向上した。 我々は、ターゲットシーンを異なる視線距離の部分に分割し、より深い地図を生成するために個別に訓練するカスケードニューラルネットワークを示す。
  論文  参考訳（メタデータ） (2020-09-14T06:50:05Z)
• Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
  コントラスト学習は教師なし表現学習に革命をもたらした。 現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。 本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T16:29:42Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。