論文の概要: Domain Decluttering: Simplifying Images to Mitigate Synthetic-Real Domain Shift and Improve Depth Estimation

• arxiv url: http://arxiv.org/abs/2002.12114v2
• Date: Thu, 25 Jun 2020 07:37:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 09:01:02.754201
• Title: Domain Decluttering: Simplifying Images to Mitigate Synthetic-Real Domain Shift and Improve Depth Estimation
• Title（参考訳）: ドメインデスパッタリング:画像の簡易化による合成-実領域シフトの緩和と深さ推定の改善
• Authors: Yunhan Zhao, Shu Kong, Daeyun Shin, Charless Fowlkes
• Abstract要約: 本研究では,実際の画像における領域外領域の特定と削除を学習するアテンションモジュールを開発する。 削除された領域を視覚化することで、合成と実際のドメインギャップに関する解釈可能な洞察が得られる。
• 参考スコア（独自算出の注目度）: 16.153683223016973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging synthetically rendered data offers great potential to improve monocular depth estimation and other geometric estimation tasks, but closing the synthetic-real domain gap is a non-trivial and important task. While much recent work has focused on unsupervised domain adaptation, we consider a more realistic scenario where a large amount of synthetic training data is supplemented by a small set of real images with ground-truth. In this setting, we find that existing domain translation approaches are difficult to train and offer little advantage over simple baselines that use a mix of real and synthetic data. A key failure mode is that real-world images contain novel objects and clutter not present in synthetic training. This high-level domain shift isn't handled by existing image translation models. Based on these observations, we develop an attention module that learns to identify and remove difficult out-of-domain regions in real images in order to improve depth prediction for a model trained primarily on synthetic data. We carry out extensive experiments to validate our attend-remove-complete approach (ARC) and find that it significantly outperforms state-of-the-art domain adaptation methods for depth prediction. Visualizing the removed regions provides interpretable insights into the synthetic-real domain gap.
• Abstract（参考訳）: 合成レンダリングデータを活用することで、単眼深度推定やその他の幾何学的推定タスクを改善することができるが、合成-実領域間隙を閉じることは非自明で重要なタスクである。 最近の研究は教師なしのドメイン適応に焦点を絞っているが、大量の合成訓練データを実際の画像の小さなセットで補うという、より現実的なシナリオを考える。 この設定では、既存のドメイン翻訳アプローチは訓練が困難であり、実データと合成データを混在させた単純なベースラインにはほとんど利点がないことがわかった。 重要な障害モードは、実世界の画像が、合成トレーニングに存在しない新しいオブジェクトとクラッタを含むことである。 このハイレベルなドメインシフトは、既存の画像翻訳モデルでは処理されない。 これらの観察に基づいて,実画像中の難解な領域を識別・除去し,主に合成データに基づいて訓練されたモデルの奥行き予測を改善するアテンションモジュールを開発した。 提案手法の有効性を検証し,最先端領域適応法よりも高い精度で深度を予測できることを示す。 削除された領域を視覚化することで、合成ドメインギャップに対する解釈可能な洞察が得られる。

関連論文リスト

• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
  眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。 対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。 提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
  論文  参考訳（メタデータ） (2024-03-23T22:32:06Z)
• Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement [12.857137513211866]
  本稿では、教師なしドメイン適応のためのトレーニングデータ合成と視線推定モデルからなる効果的なモデルトレーニングパイプラインを提案する。 提案したデータ合成は、単一画像の3D再構成を利用して、3次元の顔形状データセットを必要とせずに、ソース領域から頭部ポーズの範囲を広げる。 本稿では、視線関連特徴を分離し、背景アグリゲーション整合性損失を導入し、合成音源領域の特性を生かしたディエンタングリングオートエンコーダネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:15:03Z)
• Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving [0.11470070927586014]
  特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。 本稿では,このような手法を改良するための新しい手法を提案し,評価する。 本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
  論文  参考訳（メタデータ） (2023-02-08T15:51:54Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• Domain Adaptation for Underwater Image Enhancement [51.71570701102219]
  本稿では,ドメイン間およびドメイン内ギャップを最小限に抑えるために,新しい2相水中ドメイン適応ネットワーク(TUDA)を提案する。 第1段階では、入力画像のリアリズムを強化する翻訳部と、拡張部とを含む新しい二重配向ネットワークを設計する。 第2フェーズでは、ランクベースの水中品質評価手法が組み込まれている強化画像の評価品質に応じて、実データを簡単に分類する。
  論文  参考訳（メタデータ） (2021-08-22T06:38:19Z)
• Occlusion-aware Unsupervised Learning of Depth from 4-D Light Fields [50.435129905215284]
  4次元光場処理と解析のための教師なし学習に基づく深度推定法を提案する。 光場データの特異な幾何学構造に関する基礎知識に基づいて,光場ビューのサブセット間の角度コヒーレンスを探索し,深度マップを推定する。 提案手法は,従来の手法と同等の精度で計算コストを低減した深度マップを作成できる。
  論文  参考訳（メタデータ） (2021-06-06T06:19:50Z)
• Domain Adaptive Monocular Depth Estimation With Semantic Information [13.387521845596149]
  ドメインギャップを狭めるためにセマンティック情報を活用した対比トレーニングモデルを提案する。 提案したコンパクトモデルは,複雑な最新モデルに匹敵する最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-04-12T18:50:41Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• Focus on defocus: bridging the synthetic to real domain gap for depth estimation [9.023847175654602]
  我々は、ドメイン不変デフォーカスブラーを直接監督として利用することで、合成現実のドメインギャップを埋める問題に取り組む。 我々は、焦点の異なる画像の違いからネットワークが学習することを奨励する置換不変畳み込みニューラルネットワークを使用することで、デフォーカスの手がかりを活用する。 我々は、合成データに基づいてモデルを完全にトレーニングし、それを広範囲の現実世界の画像に直接適用することができる。
  論文  参考訳（メタデータ） (2020-05-19T17:52:37Z)
• Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
  いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。 その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。 本稿では,ドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T08:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。