論文の概要: Multi-Modal Continual Test-Time Adaptation for 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2303.10457v1
• Date: Sat, 18 Mar 2023 16:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 19:09:35.891543
• Title: Multi-Modal Continual Test-Time Adaptation for 3D Semantic Segmentation
• Title（参考訳）: 3次元セマンティックセグメンテーションのためのマルチモーダル連続テスト時間適応
• Authors: Haozhi Cao, Yuecong Xu, Jianfei Yang, Pengyu Yin, Shenghai Yuan, Lihua Xie
• Abstract要約: 連続テスト時間適応(CTTA)は、目標ドメインが定常ではなく時間とともに動的であることを仮定して、従来のテスト時間適応(TTA)を一般化する。 本稿では3次元セマンティックセグメンテーションのためのCTTAの新たな拡張として,Multi-Modal Continual Test-Time Adaptation (MM-CTTA)を提案する。
• 参考スコア（独自算出の注目度）: 26.674085603033742
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continual Test-Time Adaptation (CTTA) generalizes conventional Test-Time Adaptation (TTA) by assuming that the target domain is dynamic over time rather than stationary. In this paper, we explore Multi-Modal Continual Test-Time Adaptation (MM-CTTA) as a new extension of CTTA for 3D semantic segmentation. The key to MM-CTTA is to adaptively attend to the reliable modality while avoiding catastrophic forgetting during continual domain shifts, which is out of the capability of previous TTA or CTTA methods. To fulfill this gap, we propose an MM-CTTA method called Continual Cross-Modal Adaptive Clustering (CoMAC) that addresses this task from two perspectives. On one hand, we propose an adaptive dual-stage mechanism to generate reliable cross-modal predictions by attending to the reliable modality based on the class-wise feature-centroid distance in the latent space. On the other hand, to perform test-time adaptation without catastrophic forgetting, we design class-wise momentum queues that capture confident target features for adaptation while stochastically restoring pseudo-source features to revisit source knowledge. We further introduce two new benchmarks to facilitate the exploration of MM-CTTA in the future. Our experimental results show that our method achieves state-of-the-art performance on both benchmarks.
• Abstract（参考訳）: 連続テスト時間適応(CTTA)は、目標ドメインが定常ではなく時間とともに動的であることを仮定して、従来のテスト時間適応(TTA)を一般化する。 本稿では3次元セマンティックセグメンテーションのためのCTTAの新たな拡張として,Multi-Modal Continual Test-Time Adaptation (MM-CTTA)を提案する。 MM-CTTAの鍵は、TTA法やCTTA法の能力から外れた連続的なドメインシフトにおいて破滅的な忘れを回避しつつ、信頼性の高いモダリティに適応的に対応することである。 このギャップを埋めるため,2つの視点から,連続的相互適応クラスタリング(CoMAC)と呼ばれるMM-CTTA手法を提案する。 一方,遅延空間におけるクラスワイド特徴-セントロイド距離に基づいて,信頼度を考慮し,信頼度の高いクロスモーダル予測を生成するための適応的デュアルステージ機構を提案する。 一方で,破滅的な忘れずにテスト時間適応を行うためには,疑似ソース機能を確率的に復元してソース知識を再検討しながら,自信のあるターゲット機能をキャプチャするクラス毎のモーメントキューを設計する。 さらに,将来MM-CTTAの探索を容易にするためのベンチマークを2つ導入する。 実験の結果,両ベンチマークの最先端性能が得られた。

関連論文リスト

• Analytic Continual Test-Time Adaptation for Multi-Modality Corruption [23.545997349882857]
  テスト時間適応(TTA)は、トレーニング済みのモデルがソースとターゲットデータセット間のギャップを埋めることを支援することを目的としている。 本稿では,MM-CTTAタスクのためのMDAA(Multi-modality Dynamic Analytic Adapter)を提案する。 MDAAはMM-CTTA上での最先端性能を実現し,信頼性の高いモデル適応を実現する。
  論文  参考訳（メタデータ） (2024-10-29T01:21:24Z)
• TS-TCD: Triplet-Level Cross-Modal Distillation for Time-Series Forecasting Using Large Language Models [15.266543423942617]
  本稿では,3段階のクロスモーダルな知識蒸留機構を包括的に導入する新しいフレームワークTS-TCDを提案する。 分離されたアライメント技術に焦点を当てた以前の作業とは異なり、私たちのフレームワークは体系的に統合されます。 ベンチマークタイムシリーズの実験では、TS-TCDは最先端の結果を達成し、精度と堅牢性の両方で従来の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-23T12:57:24Z)
• Adaptive Cascading Network for Continual Test-Time Adaptation [12.718826132518577]
  そこで本研究では,テスト時に対象ドメインの列に事前学習したソースモデルを適応させることを目標とする連続的なテスト時間適応の問題について検討する。 テストタイムトレーニングの既存の方法には、いくつかの制限がある。
  論文  参考訳（メタデータ） (2024-07-17T01:12:57Z)
• Exploring Test-Time Adaptation for Object Detection in Continually Changing Environments [13.163784646113214]
  最近CTTA(Continuous Test-Time Adaptation)が、ターゲットドメインを継続的に変更するソーストレーニングモデルに徐々に適応する、有望なテクニックとして登場した。 まず、オブジェクトレベルのコントラスト学習モジュールは、対象領域における特徴表現を洗練させるために、コントラスト学習のためのオブジェクトレベルの特徴を抽出する。 第2に、適応監視モジュールは、不要な適応を動的にスキップし、予測された信頼度スコアに基づいてカテゴリ固有のしきい値を更新して、効率を向上し、擬似ラベルの品質を向上させる。
  論文  参考訳（メタデータ） (2024-06-24T08:30:03Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Uncertainty Guided Adaptive Warping for Robust and Efficient Stereo Matching [77.133400999703]
  相関に基づくステレオマッチングは優れた性能を達成した。 固定モデルによる現在のメソッドは、さまざまなデータセットで均一に動作しない。 本稿では,ロバストなステレオマッチングのための相関を動的に計算する新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:47:37Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain Medical Images [56.72015587067494]
  DLTTAと呼ばれるテスト時間適応のための新しい動的学習率調整法を提案する。 本手法は,現在最先端のテスト時間適応法よりも一貫した性能向上を図り,有効かつ高速なテスト時間適応を実現する。
  論文  参考訳（メタデータ） (2022-05-27T02:34:32Z)
• MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation [104.48766162008815]
  本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。 マルチモダリティを最大限に活用できるフレームワークを設計するために、各モダリティは他のモダリティに対して正規化された自己監督信号を提供する。 正規化された擬似ラベルは、多数の多モードテスト時間適応シナリオにおいて安定した自己学習信号を生成する。
  論文  参考訳（メタデータ） (2022-04-27T02:28:12Z)
• A Transductive Multi-Head Model for Cross-Domain Few-Shot Learning [72.30054522048553]
  本稿では,クロスドメインなFew-Shot学習問題に対処するため,TMHFS(Transductive Multi-Head Few-Shot Learning)を提案する。 提案手法は, 4つの異なる対象領域において, 強いベースライン, 微調整を著しく上回っている。
  論文  参考訳（メタデータ） (2020-06-08T02:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。