論文の概要: MOS: Model Synergy for Test-Time Adaptation on LiDAR-Based 3D Object Detection
- arxiv url: http://arxiv.org/abs/2406.14878v2
- Date: Fri, 18 Oct 2024 01:40:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:22:43.979321
- Title: MOS: Model Synergy for Test-Time Adaptation on LiDAR-Based 3D Object Detection
- Title(参考訳): MOS:LiDARに基づく3次元物体検出におけるテスト時間適応のためのモデルシナジー
- Authors: Zhuoxiao Chen, Junjie Meng, Mahsa Baktashmotlagh, Yonggang Zhang, Zi Huang, Yadan Luo,
- Abstract要約: 3次元検出器のための新しいオンラインテスト時間適応フレームワークを提案する。
これまでのテストバッチから長期的知識を活用することで、我々のアプローチは破滅的な忘れを軽減し、多様なシフトに効果的に適応します。
提案手法は,3つのデータセットと8種類の汚職に対して,既存のテスト時間適応戦略に対して厳格に検証した。
- 参考スコア(独自算出の注目度): 38.6421466851974
- License:
- Abstract: LiDAR-based 3D object detection is crucial for various applications but often experiences performance degradation in real-world deployments due to domain shifts. While most studies focus on cross-dataset shifts, such as changes in environments and object geometries, practical corruptions from sensor variations and weather conditions remain underexplored. In this work, we propose a novel online test-time adaptation framework for 3D detectors that effectively tackles these shifts, including a challenging cross-corruption scenario where cross-dataset shifts and corruptions co-occur. By leveraging long-term knowledge from previous test batches, our approach mitigates catastrophic forgetting and adapts effectively to diverse shifts. Specifically, we propose a Model Synergy (MOS) strategy that dynamically selects historical checkpoints with diverse knowledge and assembles them to best accommodate the current test batch. This assembly is directed by our proposed Synergy Weights (SW), which perform a weighted averaging of the selected checkpoints, minimizing redundancy in the composite model. The SWs are computed by evaluating the similarity of predicted bounding boxes on the test data and the independence of features between checkpoint pairs in the model bank. To maintain an efficient and informative model bank, we discard checkpoints with the lowest average SW scores, replacing them with newly updated models. Our method was rigorously tested against existing test-time adaptation strategies across three datasets and eight types of corruptions, demonstrating superior adaptability to dynamic scenes and conditions. Notably, it achieved a 67.3% improvement in a challenging cross-corruption scenario, offering a more comprehensive benchmark for adaptation. The source code will be made publicly available.
- Abstract(参考訳): LiDARベースの3Dオブジェクト検出は様々なアプリケーションに不可欠だが、ドメインシフトによる実際のデプロイメントのパフォーマンス低下を経験することが多い。
ほとんどの研究は、環境やオブジェクトのジオメトリーの変化など、データセット間のシフトに焦点を当てているが、センサーの変動や気象条件による実際の腐敗は、まだ未調査のままである。
本研究では,これらの変化に効果的に取り組む3D検出器のための新しいオンラインテスト時間適応フレームワークを提案する。
これまでのテストバッチから長期的知識を活用することで、我々のアプローチは破滅的な忘れを軽減し、多様なシフトに効果的に適応します。
具体的には,様々な知識を持つ履歴チェックポイントを動的に選択し,現在のテストバッチを最適に適合させるモデルシナジー(MOS)戦略を提案する。
このアセンブリは,提案したSynergy Weights (SW) によって誘導され,選択したチェックポイントの重み付き平均化を行い,複合モデルにおける冗長性を最小化する。
SWは、テストデータ上の予測境界ボックスの類似性と、モデルバンク内のチェックポイントペア間の特徴の独立性を評価することにより計算される。
効率的かつ情報的なモデルバンクを維持するため、チェックポイントを最低値のSWスコアで破棄し、新たに更新されたモデルに置き換える。
提案手法は,3つのデータセットと8種類の汚職に対する既存のテスト時間適応戦略に対して厳格に検証し,動的シーンや条件に対する優れた適応性を示した。
特に67.3%の改善が達成され、より包括的な適応ベンチマークが提供された。
ソースコードは一般公開される予定だ。
関連論文リスト
- Test-Time Adaptation with State-Space Models [4.248760709042802]
本研究では,分散ドリフトを受ける配置モデルに適応可能な状態空間モデルを提案する。
我々のモデルは、最後の隠れた特徴セットの分布シフトによって引き起こされるダイナミクスを学習する。
私たちのアプローチは軽量で、モデルの最後の線形層だけを変更します。
論文 参考訳(メタデータ) (2024-07-17T11:18:49Z) - Approaching Outside: Scaling Unsupervised 3D Object Detection from 2D Scene [22.297964850282177]
教師なし3次元検出のためのLiDAR-2D Self-paced Learning (LiSe)を提案する。
RGB画像は、正確な2Dローカライゼーションキューを提供するLiDARデータの貴重な補完となる。
本フレームワークでは,適応型サンプリングと弱いモデルアグリゲーション戦略を組み込んだ自己評価学習パイプラインを考案する。
論文 参考訳(メタデータ) (2024-07-11T14:58:49Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳(メタデータ) (2023-10-09T12:36:16Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳(メタデータ) (2023-03-20T16:28:15Z) - GOOD: General Optimization-based Fusion for 3D Object Detection via
LiDAR-Camera Object Candidates [10.534984939225014]
3次元物体検出は、自律運転における知覚タスクの中核となる基礎となる。
Goodは汎用的な最適化ベースの融合フレームワークで、追加のモデルをトレーニングすることなく、満足度の高い検出を実現できる。
nuScenesとKITTIデータセットの両方の実験を行い、その結果、GOODはPointPillarsと比較してmAPスコアで9.1%上回っていることが示された。
論文 参考訳(メタデータ) (2023-03-17T07:05:04Z) - Exploring Active 3D Object Detection from a Generalization Perspective [58.597942380989245]
不確実性に基づくアクティブな学習ポリシーは、ポイントクラウドの情報性とボックスレベルのアノテーションコストの間のトレードオフのバランスを取れません。
冗長な3次元境界ボックスラベルの点群を階層的にフィルタリングするtextscCrbを提案する。
実験により,提案手法が既存のアクティブラーニング戦略より優れていることが示された。
論文 参考訳(メタデータ) (2023-01-23T02:43:03Z) - See Eye to Eye: A Lidar-Agnostic 3D Detection Framework for Unsupervised
Multi-Target Domain Adaptation [7.489722641968593]
本稿では,ライダー間における最先端3D検出器の性能伝達のための,教師なしマルチターゲットドメイン適応フレームワークであるSEEを提案する。
提案手法は,検出ネットワークに渡す前に,基礎となる形状を補間し,異なるライダーからの物体の走査パターンを正規化する。
我々は、SEEが公開データセット上で有効であること、最先端の成果を達成できること、そして、我々のフレームワークの産業的応用を証明するために、新しい高解像度ライダーに定量的な結果を提供することを実証する。
論文 参考訳(メタデータ) (2021-11-17T23:46:47Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - Spatial-Temporal Alignment Network for Action Recognition and Detection [80.19235282200697]
本稿では,行動認識と検出を支援する視点不変の特徴表現を導入する方法について検討する。
本稿では,行動認識と行動検出のための幾何学的不変表現の学習を目的とした,空間時間アライメントネットワーク(STAN)を提案する。
我々は、AVA、Kinetics-400、AVA-Kinetics、Charades、Charades-EgoのデータセットでSTANモデルを広範囲にテストした。
論文 参考訳(メタデータ) (2020-12-04T06:23:40Z) - Overcoming Classifier Imbalance for Long-tail Object Detection with
Balanced Group Softmax [88.11979569564427]
本報告では, 長期分布前における最先端モデルの過小評価に関する最初の体系的解析を行う。
本稿では,グループワイドトレーニングを通じて検出フレームワーク内の分類器のバランスをとるための,新しいバランス付きグループソフトマックス(BAGS)モジュールを提案する。
非常に最近の長尾大語彙オブジェクト認識ベンチマークLVISの大規模な実験により,提案したBAGSは検出器の性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2020-06-18T10:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。