論文の概要: Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction

• arxiv url: http://arxiv.org/abs/2012.11260v1
• Date: Mon, 21 Dec 2020 11:27:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:32:54.766892
• Title: Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction
• Title（参考訳）: 3次元ハンドオブジェクト関節再建のための時間整合自己訓練による教師なし領域適応
• Authors: Mengshi Qi, Edoardo Remelli, Mathieu Salzmann, Pascal Fua
• Abstract要約: サイクル生成逆数ネットワーク(CycleGAN)内の3次元幾何学的制約を利用してこの問題に対処する効果的なアプローチを提案する。 既存のほとんどの研究とは対照的に、ドメイン適応モデルを自己管理的に微調整するために、短期的および長期的時間的整合性を強制することを提案する。 本研究では,3つのベンチマークを用いて,最先端の3Dハンドオブジェ共同再建手法を上回っていることを実証する。
• 参考スコア（独自算出の注目度）: 131.34795312667026
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning-solutions for hand-object 3D pose and shape estimation are now very effective when an annotated dataset is available to train them to handle the scenarios and lighting conditions they will encounter at test time. Unfortunately, this is not always the case, and one often has to resort to training them on synthetic data, which does not guarantee that they will work well in real situations. In this paper, we introduce an effective approach to addressing this challenge by exploiting 3D geometric constraints within a cycle generative adversarial network (CycleGAN) to perform domain adaptation. Furthermore, in contrast to most existing works, which fail to leverage the rich temporal information available in unlabeled real videos as a source of supervision, we propose to enforce short- and long-term temporal consistency to fine-tune the domain-adapted model in a self-supervised fashion. We will demonstrate that our approach outperforms state-of-the-art 3D hand-object joint reconstruction methods on three widely-used benchmarks and will make our code publicly available.
• Abstract（参考訳）: 手動3Dポーズと形状推定のためのディープラーニングソリューションは、アノテートデータセットを使用して、テスト時に遭遇するシナリオと照明条件をトレーニングする場合、非常に効果的になった。 残念なことに、これは必ずしもそうではなく、しばしば合成データでトレーニングを行う必要があるため、実際の状況でうまく機能することを保証しない。 本稿では,cyclegan(cycleerative adversarial network)における3次元幾何学的制約を利用してドメイン適応を行う手法を提案する。 さらに,無ラベル実映像で利用可能なリッチな時間情報を監督の源として利用できない既存の作品の多くとは対照的に,自己教師付きでドメイン適応モデルに微調整するために,短期的・長期的一貫性を強制することを提案する。 我々は、我々のアプローチが3つの広く使用されているベンチマークで最先端の3dハンドオブジェクト統合再構築手法を上回っており、コードを公開することを実証する。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• FSD: Fast Self-Supervised Single RGB-D to Categorical 3D Objects [37.175069234979645]
  本研究は,実世界の3次元ラベル付きデータに依存しない3次元オブジェクト認識の課題に対処する。 我々のゴールは、単一のRGB-D画像内のオブジェクトの3次元形状、サイズ、および6次元のポーズを予測し、カテゴリレベルで動作し、推論中のCADモデルの必要性を排除することである。
  論文  参考訳（メタデータ） (2023-10-19T17:59:09Z)
• 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
  ドメイン外データへの一般化の改善に注力する。 対象を逆向きに変形させるベクトルの集合を学習する。 本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
  論文  参考訳（メタデータ） (2023-08-29T17:58:55Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation [88.8963330073454]
  自己教師付き学習による新しい単眼6次元ポーズ推定手法を提案する。 ノイズの多い学生のトレーニングと差別化可能なレンダリングの現在の傾向を活用して、モデルをさらに自己監督する。 提案する自己超越法は,合成データに依存する他の方法よりも優れている。
  論文  参考訳（メタデータ） (2022-03-19T15:12:06Z)
• Ano-Graph: Learning Normal Scene Contextual Graphs to Detect Video Anomalies [11.935112157324122]
  ビデオ検出は、教師なしのトレーニング手順と、現実世界のシナリオに高時間に存在するため、難しい課題であることが証明された。 本論文では,通常の物体の相互作用を学習・モデル化するための非グラフ法を提案する。 提案手法はデータ効率が良く,照明などの実世界の変種に対して著しく頑健であり,adocやストリートシーンの難易度が高いsotaを大差で通過する。
  論文  参考訳（メタデータ） (2021-03-18T20:08:53Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。