論文の概要: Test-Time Adaptation for Depth Completion
- arxiv url: http://arxiv.org/abs/2402.03312v1
- Date: Mon, 5 Feb 2024 18:59:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 14:10:01.688390
- Title: Test-Time Adaptation for Depth Completion
- Title(参考訳): 深度完了のためのテスト時間適応
- Authors: Hyoungseob Park, Anjali Gupta, Alex Wong
- Abstract要約: いくつかの(ソース)データセットでトレーニングされたモデルを転送して、ドメイン間のギャップによってテストデータをターゲットにする場合、パフォーマンスの劣化を観測することが一般的である。
本稿では,1枚の画像とそれに伴うスパース深度マップから高密度深度マップを推定するタスクである深度完成のためのオンラインテスト時間適応手法を提案する。
- 参考スコア(独自算出の注目度): 10.456934664434867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is common to observe performance degradation when transferring models
trained on some (source) datasets to target testing data due to a domain gap
between them. Existing methods for bridging this gap, such as domain adaptation
(DA), may require the source data on which the model was trained (often not
available), while others, i.e., source-free DA, require many passes through the
testing data. We propose an online test-time adaptation method for depth
completion, the task of inferring a dense depth map from a single image and
associated sparse depth map, that closes the performance gap in a single pass.
We first present a study on how the domain shift in each data modality affects
model performance. Based on our observations that the sparse depth modality
exhibits a much smaller covariate shift than the image, we design an embedding
module trained in the source domain that preserves a mapping from features
encoding only sparse depth to those encoding image and sparse depth. During
test time, sparse depth features are projected using this map as a proxy for
source domain features and are used as guidance to train a set of auxiliary
parameters (i.e., adaptation layer) to align image and sparse depth features
from the target test domain to that of the source domain. We evaluate our
method on indoor and outdoor scenarios and show that it improves over baselines
by an average of 21.1%.
- Abstract(参考訳): いくつかの(ソース)データセットでトレーニングされたモデルを転送して、ドメイン間のギャップによってテストデータをターゲットにする場合、パフォーマンスの劣化を観測することが一般的である。
このギャップを埋めるための既存の手法、例えばドメイン適応(DA)は、モデルがトレーニングされたソースデータ(しばしば利用できない)を必要とするが、ソースフリーのDAはテストデータに多くのパスを必要とする。
本研究では,1回のパスで性能ギャップを閉じる,1枚の画像とそれに伴うスパース深度マップから濃密な深さマップを推定する作業である,深さ完了のためのオンラインテスト時間適応手法を提案する。
まず,各データモダリティにおけるドメインシフトがモデル性能に与える影響について検討する。
スパース深さモダリティが画像よりもずっと小さい共変量シフトを示すという観測に基づいて、ソースドメインでトレーニングされた埋め込みモジュールを設計し、スパース深さのみをエンコードする機能から、画像のエンコーディングとスパース深さへのマッピングを保存する。
テスト時間中に、このマップをソースドメイン機能のプロキシとして使用してスパース深度特徴を投影し、画像とスパース深度特徴をターゲットテストドメインからソースドメインに整列させる補助パラメータ(適応層)のセットをトレーニングするためのガイダンスとして使用する。
本手法を屋内および屋外のシナリオで評価し,平均21.1%のベースラインで改善したことを示す。
関連論文リスト
- MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。
深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。
提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
論文 参考訳(メタデータ) (2024-08-29T12:15:10Z) - Temporal Lidar Depth Completion [0.08192907805418582]
PENetは, 再発の恩恵を受けるために, 最新の手法であるPENetをどう修正するかを示す。
提案アルゴリズムは,KITTI深度補完データセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2024-06-17T08:25:31Z) - Feather-Light Fourier Domain Adaptation in Magnetic Resonance Imaging [2.024988885579277]
ディープラーニングモデルの一般化性は、列車(ソースドメイン)とテスト(ターゲットドメイン)セットの分布の違いによって大きく影響を受ける可能性がある。
テスト時間領域適応を実現するための,極めて軽量かつ透明なアプローチを提案する。
論文 参考訳(メタデータ) (2022-07-31T17:28:42Z) - On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。
本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。
テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
論文 参考訳(メタデータ) (2022-03-10T18:51:29Z) - Adaptive Context-Aware Multi-Modal Network for Depth Completion [107.15344488719322]
我々は,観測された空間コンテキストを捉えるために,グラフ伝搬を採用することを提案する。
次に、注意機構を伝搬に適用し、ネットワークが文脈情報を適応的にモデル化することを奨励する。
最後に、抽出したマルチモーダル特徴を効果的に活用するための対称ゲート融合戦略を導入する。
本稿では,Adaptive Context-Aware Multi-Modal Network (ACMNet) を2つのベンチマークで評価した。
論文 参考訳(メタデータ) (2020-08-25T06:00:06Z) - Self domain adapted network [6.040230864736051]
ドメインシフトは、臨床実践においてディープネットワークをデプロイする上で大きな問題である。
単体テスト対象に迅速に適応できる新しい自己ドメイン適応ネットワーク(SDA-Net)を提案する。
論文 参考訳(メタデータ) (2020-07-07T01:41:34Z) - Keep it Simple: Image Statistics Matching for Domain Adaptation [0.0]
ドメイン適応(英: Domain Adaptation, DA)とは、未ラベル画像のみが対象領域から利用可能である場合に検出精度を維持する手法である。
最近の最先端の手法は、敵の訓練戦略を用いて領域ギャップを減らそうとしている。
そこで本研究では,色ヒストグラムと平均画像の共分散を対象領域に合わせることを提案する。
近年の手法と比較して,より簡単な訓練手法を用いて最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-05-26T07:32:09Z) - iFAN: Image-Instance Full Alignment Networks for Adaptive Object
Detection [48.83883375118966]
iFANは、イメージレベルとインスタンスレベルの両方で、機能の分散を正確に調整することを目的としている。
ソースのみのベースライン上で10%以上のAPで、最先端のメソッドよりも優れています。
論文 参考訳(メタデータ) (2020-03-09T13:27:06Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳(メタデータ) (2020-02-20T03:13:58Z) - Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。
この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。
我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-01-14T20:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。