論文の概要: MOS: Model Synergy for Test-Time Adaptation on LiDAR-Based 3D Object Detection
- arxiv url: http://arxiv.org/abs/2406.14878v1
- Date: Fri, 21 Jun 2024 05:58:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 14:42:51.099113
- Title: MOS: Model Synergy for Test-Time Adaptation on LiDAR-Based 3D Object Detection
- Title(参考訳): MOS:LiDARに基づく3次元物体検出におけるテスト時間適応のためのモデルシナジー
- Authors: Zhuoxiao Chen, Junjie Meng, Mahsa Baktashmotlagh, Zi Huang, Yadan Luo,
- Abstract要約: MOS(Model Synergy)と呼ばれる3次元物体検出のための新しいオンライン適応フレームワークを提案する。
MOSは、履歴チェックポイントのバンクからテストバッチ毎に最適なスーパーモデルを動的に組み立てる。
当社のアプローチは,複雑な"クロス破壊"シナリオにおいて67.3%のパフォーマンス向上を達成した。
- 参考スコア(独自算出の注目度): 32.00747075802916
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: LiDAR-based 3D object detection is pivotal across many applications, yet the performance of such detection systems often degrades after deployment, especially when faced with unseen test point clouds originating from diverse locations or subjected to corruption. In this work, we introduce a new online adaptation framework for detectors named Model Synergy (MOS). Specifically, MOS dynamically assembles best-fit supermodels for each test batch from a bank of historical checkpoints, leveraging long-term knowledge to guide model updates without forgetting. The model assembly is directed by the proposed synergy weights (SW), employed for weighted averaging of the selected checkpoints to minimize redundancy in the composite supermodel. These weights are calculated by evaluating the similarity of predicted bounding boxes on test data and the feature independence among model pairs in the bank. To maintain an informative yet compact model bank, we pop out checkpoints with the lowest average SW scores and insert newly updated model weights. Our method was rigorously tested against prior test-time domain adaptation strategies on three datasets and under eight types of corruptions, demonstrating its superior adaptability to changing scenes and conditions. Remarkably, our approach achieved a 67.3% increase in performance in a complex "cross-corruption" scenario, which involves cross-dataset inconsistencies and real-world scene corruptions, providing a more realistic testbed of adaptation capabilities. The code is available at https://github.com/zhuoxiao-chen/MOS.
- Abstract(参考訳): LiDARベースの3Dオブジェクト検出は、多くのアプリケーションにおいて重要であるが、そのような検出システムの性能は、デプロイ後に劣化することが多い。
本研究では,MOS(Model Synergy)と呼ばれる検出器のオンライン適応フレームワークを提案する。
特に、MOSは、履歴チェックポイントのバンクからテストバッチ毎に最適なスーパーモデルを動的に組み立て、長期的知識を活用して、モデル更新を忘れずにガイドする。
モデルアセンブリは、合成スーパーモデルにおける冗長性を最小化するために選択されたチェックポイントの重み付け平均化に使用される、提案された相乗重み(SW)によって誘導される。
これらの重みは、テストデータ上の予測境界ボックスの類似度と、銀行内のモデルペア間の特徴独立性を評価することにより算出される。
情報的かつコンパクトなモデルバンクを維持するため、最小のSWスコアを持つチェックポイントをポップアップし、新たに更新されたモデルウェイトを挿入する。
提案手法は,3つのデータセットと8種類の汚職に対して,事前の試験時間領域適応戦略に対して厳格に検証し,シーンや条件の変化に対して優れた適応性を示した。
興味深いことに、当社のアプローチは、クロスデータセットの不整合と現実のシーンの破損を含む複雑な"クロス破壊"シナリオで67.3%のパフォーマンス向上を実現し、適応機能のより現実的なテストベッドを提供する。
コードはhttps://github.com/zhuoxiao-chen/MOSで公開されている。
関連論文リスト
- Test-Time Adaptation with State-Space Models [4.248760709042802]
本研究では,分散ドリフトを受ける配置モデルに適応可能な状態空間モデルを提案する。
我々のモデルは、最後の隠れた特徴セットの分布シフトによって引き起こされるダイナミクスを学習する。
私たちのアプローチは軽量で、モデルの最後の線形層だけを変更します。
論文 参考訳(メタデータ) (2024-07-17T11:18:49Z) - Approaching Outside: Scaling Unsupervised 3D Object Detection from 2D Scene [22.297964850282177]
教師なし3次元検出のためのLiDAR-2D Self-paced Learning (LiSe)を提案する。
RGB画像は、正確な2Dローカライゼーションキューを提供するLiDARデータの貴重な補完となる。
本フレームワークでは,適応型サンプリングと弱いモデルアグリゲーション戦略を組み込んだ自己評価学習パイプラインを考案する。
論文 参考訳(メタデータ) (2024-07-11T14:58:49Z) - LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised
Time Series Anomaly Detection [49.52429991848581]
深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。
本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
論文 参考訳(メタデータ) (2023-10-09T12:36:16Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳(メタデータ) (2023-03-20T16:28:15Z) - GOOD: General Optimization-based Fusion for 3D Object Detection via
LiDAR-Camera Object Candidates [10.534984939225014]
3次元物体検出は、自律運転における知覚タスクの中核となる基礎となる。
Goodは汎用的な最適化ベースの融合フレームワークで、追加のモデルをトレーニングすることなく、満足度の高い検出を実現できる。
nuScenesとKITTIデータセットの両方の実験を行い、その結果、GOODはPointPillarsと比較してmAPスコアで9.1%上回っていることが示された。
論文 参考訳(メタデータ) (2023-03-17T07:05:04Z) - Exploring Active 3D Object Detection from a Generalization Perspective [58.597942380989245]
不確実性に基づくアクティブな学習ポリシーは、ポイントクラウドの情報性とボックスレベルのアノテーションコストの間のトレードオフのバランスを取れません。
冗長な3次元境界ボックスラベルの点群を階層的にフィルタリングするtextscCrbを提案する。
実験により,提案手法が既存のアクティブラーニング戦略より優れていることが示された。
論文 参考訳(メタデータ) (2023-01-23T02:43:03Z) - See Eye to Eye: A Lidar-Agnostic 3D Detection Framework for Unsupervised
Multi-Target Domain Adaptation [7.489722641968593]
本稿では,ライダー間における最先端3D検出器の性能伝達のための,教師なしマルチターゲットドメイン適応フレームワークであるSEEを提案する。
提案手法は,検出ネットワークに渡す前に,基礎となる形状を補間し,異なるライダーからの物体の走査パターンを正規化する。
我々は、SEEが公開データセット上で有効であること、最先端の成果を達成できること、そして、我々のフレームワークの産業的応用を証明するために、新しい高解像度ライダーに定量的な結果を提供することを実証する。
論文 参考訳(メタデータ) (2021-11-17T23:46:47Z) - When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。
精度を向上させるために,2つの軽量モジュールを提案する。
DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。
QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文 参考訳(メタデータ) (2021-05-27T13:51:42Z) - Spatial-Temporal Alignment Network for Action Recognition and Detection [80.19235282200697]
本稿では,行動認識と検出を支援する視点不変の特徴表現を導入する方法について検討する。
本稿では,行動認識と行動検出のための幾何学的不変表現の学習を目的とした,空間時間アライメントネットワーク(STAN)を提案する。
我々は、AVA、Kinetics-400、AVA-Kinetics、Charades、Charades-EgoのデータセットでSTANモデルを広範囲にテストした。
論文 参考訳(メタデータ) (2020-12-04T06:23:40Z) - Overcoming Classifier Imbalance for Long-tail Object Detection with
Balanced Group Softmax [88.11979569564427]
本報告では, 長期分布前における最先端モデルの過小評価に関する最初の体系的解析を行う。
本稿では,グループワイドトレーニングを通じて検出フレームワーク内の分類器のバランスをとるための,新しいバランス付きグループソフトマックス(BAGS)モジュールを提案する。
非常に最近の長尾大語彙オブジェクト認識ベンチマークLVISの大規模な実験により,提案したBAGSは検出器の性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2020-06-18T10:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。