論文の概要: MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2204.12667v1
- Date: Wed, 27 Apr 2022 02:28:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-28 13:27:41.350830
- Title: MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation
- Title(参考訳): MM-TTA:3次元セマンティックセグメンテーションのためのマルチモーダルテスト時間適応
- Authors: Inkyu Shin, Yi-Hsuan Tsai, Bingbing Zhuang, Samuel Schulter, Buyu Liu,
Sparsh Garg, In So Kweon, Kuk-Jin Yoon
- Abstract要約: 本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。
マルチモダリティを最大限に活用できるフレームワークを設計するために、各モダリティは他のモダリティに対して正規化された自己監督信号を提供する。
正規化された擬似ラベルは、多数の多モードテスト時間適応シナリオにおいて安定した自己学習信号を生成する。
- 参考スコア(独自算出の注目度): 104.48766162008815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time adaptation approaches have recently emerged as a practical solution
for handling domain shift without access to the source domain data. In this
paper, we propose and explore a new multi-modal extension of test-time
adaptation for 3D semantic segmentation. We find that directly applying
existing methods usually results in performance instability at test time
because multi-modal input is not considered jointly. To design a framework that
can take full advantage of multi-modality, where each modality provides
regularized self-supervisory signals to other modalities, we propose two
complementary modules within and across the modalities. First, Intra-modal
Pseudolabel Generation (Intra-PG) is introduced to obtain reliable pseudo
labels within each modality by aggregating information from two models that are
both pre-trained on source data but updated with target data at different
paces. Second, Inter-modal Pseudo-label Refinement (Inter-PR) adaptively
selects more reliable pseudo labels from different modalities based on a
proposed consistency scheme. Experiments demonstrate that our regularized
pseudo labels produce stable self-learning signals in numerous multi-modal
test-time adaptation scenarios for 3D semantic segmentation. Visit our project
website at https://www.nec-labs.com/~mas/MM-TTA.
- Abstract(参考訳): テスト時適応アプローチは、最近、ソースドメインデータにアクセスせずにドメインシフトを処理するための実用的なソリューションとして現れました。
本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。
既存の手法を直接適用すると,マルチモーダル入力が協調的に考慮されないため,テスト時に性能が不安定になることが多い。
各モードが他のモダリティに対して正規化された自己スーパーバイザ信号を提供するマルチモダリティの利点をフル活用できるフレームワークを設計するために,モダリティ内およびモダリティ間の相補的な2つのモジュールを提案する。
まず、イントラ-PG(Intra-PG)を導入し、ソースデータに基づいて事前学習されるが、異なるペースでターゲットデータで更新される2つのモデルからの情報を集約することにより、各モード内で信頼できる擬似ラベルを得る。
第二に、提案する一貫性スキームに基づいて、異なるモダリティからより信頼性の高い擬似ラベルを適応的に選択する。
3次元セマンティックセグメンテーションのための多数の多モードテスト時間適応シナリオにおいて、正規化された擬似ラベルが安定した自己学習信号を生成することを示す。
プロジェクトのwebサイトはhttps://www.nec-labs.com/~mas/mm-tta。
関連論文リスト
- Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。
TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。
本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-28T20:42:47Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Missing Modality Robustness in Semi-Supervised Multi-Modal Semantic
Segmentation [27.23513712371972]
簡単なマルチモーダル核融合機構を提案する。
また,マルチモーダル学習のためのマルチモーダル教師であるM3Lを提案する。
我々の提案は、最も競争力のあるベースラインよりも、ロバストmIoUで最大10%の絶対的な改善を示す。
論文 参考訳(メタデータ) (2023-04-21T05:52:50Z) - Multi-Modal Continual Test-Time Adaptation for 3D Semantic Segmentation [26.674085603033742]
連続テスト時間適応(CTTA)は、目標ドメインが定常ではなく時間とともに動的であることを仮定して、従来のテスト時間適応(TTA)を一般化する。
本稿では3次元セマンティックセグメンテーションのためのCTTAの新たな拡張として,Multi-Modal Continual Test-Time Adaptation (MM-CTTA)を提案する。
論文 参考訳(メタデータ) (2023-03-18T16:51:19Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳(メタデータ) (2021-04-19T08:46:08Z) - Semi-Supervised Multi-Modal Multi-Instance Multi-Label Deep Network with
Optimal Transport [24.930976128926314]
M3DN (Multi-modal Multi-instance Multi-label Deep Network) を提案する。
M3DNは、M3学習をエンドツーエンドのマルチモーダルディープネットワークで考慮し、異なるモーダルバッグレベルの予測間で一貫性の原則を利用します。
これにより、M3DNSはラベルを予測し、ラベル相関を同時に活用できる。
論文 参考訳(メタデータ) (2021-04-17T09:18:28Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - mDALU: Multi-Source Domain Adaptation and Label Unification with Partial
Datasets [102.62639692656458]
本稿では,この課題をマルチソースドメイン適応とラベル統一の問題として扱う。
本手法は,部分教師あり適応段階と完全教師あり適応段階からなる。
本手法は,画像分類,2次元意味画像分割,ジョイント2d-3d意味セグメンテーションの3つのタスクで検証する。
論文 参考訳(メタデータ) (2020-12-15T15:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。