論文の概要: Localization Is All You Evaluate: Data Leakage in Online Mapping
Datasets and How to Fix It
- arxiv url: http://arxiv.org/abs/2312.06420v1
- Date: Mon, 11 Dec 2023 14:43:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 15:18:19.748237
- Title: Localization Is All You Evaluate: Data Leakage in Online Mapping
Datasets and How to Fix It
- Title(参考訳): ローカライゼーションは、あなたが評価するすべてである - オンラインマッピングデータセットにおけるデータ漏洩とその修正方法
- Authors: Adam Lilja, Junsheng Fu, Erik Stenborg, Lars Hammarstrand
- Abstract要約: オンラインマッピングの方法は,主にnuScenesとArgoverse 2の2つのデータセットを使用してトレーニングされている。
nuScenesの80ドル以上、Argoverse 2のバリデーションとテストサンプルの40ドル以上は、トレーニングサンプルから5ドル未満の位置にある。
これにより、テスト中に暗黙のマップを暗記したメソッドをローカライズすることができ、インフレーションされたパフォーマンス番号が報告される。
- 参考スコア(独自算出の注目度): 2.3243644740128326
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data leakage is a critical issue when training and evaluating any method
based on supervised learning. The state-of-the-art methods for online mapping
are based on supervised learning and are trained predominantly using two
datasets: nuScenes and Argoverse 2. These datasets revisit the same geographic
locations across training, validation, and test sets. Specifically, over $80$%
of nuScenes and $40$% of Argoverse 2 validation and test samples are located
less than $5$ m from a training sample. This allows methods to localize within
a memorized implicit map during testing and leads to inflated performance
numbers being reported. To reveal the true performance in unseen environments,
we introduce geographical splits of the data. Experimental results show
significantly lower performance numbers, for some methods dropping with more
than $45$ mAP, when retraining and reevaluating existing online mapping models
with the proposed split. Additionally, a reassessment of prior design choices
reveals diverging conclusions from those based on the original split. Notably,
the impact of the lifting method and the support from auxiliary tasks (e.g.,
depth supervision) on performance appears less substantial or follows a
different trajectory than previously perceived. Geographical splits can be
found https://github.com/LiljaAdam/geographical-splits
- Abstract(参考訳): データ漏洩は、教師付き学習に基づくあらゆる方法の訓練と評価において重要な問題である。
オンラインマッピングの最先端の手法は教師付き学習に基づいており、主にnuScenesとArgoverse 2の2つのデータセットを使用して訓練されている。
これらのデータセットは、トレーニング、検証、テストセット間で同じ地理的位置を再考する。
具体的には、nuscenesの80$%とargoverse 2の検証とテストサンプルの40$%以上は、トレーニングサンプルから5ドル未満の場所にある。
これによりメソッドは、テスト中に暗黙の暗黙のマップ内にローカライズすることができ、膨らんだパフォーマンス番号が報告される。
未認識環境における真の性能を明らかにするために,データの地理的分割を導入する。
実験の結果,既存のオンラインマッピングモデルの再訓練と再評価を行う際に,45ドル以上のmAPで低下する手法が提案された。
さらに、事前の設計選択の再評価により、元の分割に基づく結果から逸脱する結論が明らかになった。
特に、昇降法と補助作業(例えば、深度監視)が性能に与える影響は、以前認識されていたよりも顕著に、あるいは異なる軌道を辿るように見える。
地理的な分割はhttps://github.com/liljaadam/geographical-splitsにある。
関連論文リスト
- Towards Seamless Adaptation of Pre-trained Models for Visual Place
Recognition [76.66784893699054]
視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。
具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。
実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2024-02-22T12:55:01Z) - Test-Time Adaptation for Depth Completion [10.456934664434867]
いくつかの(ソース)データセットでトレーニングされたモデルを転送して、ドメイン間のギャップによってテストデータをターゲットにする場合、パフォーマンスの劣化を観測することが一般的である。
本稿では,1枚の画像とそれに伴うスパース深度マップから高密度深度マップを推定するタスクである深度完成のためのオンラインテスト時間適応手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T18:59:52Z) - Deepfake Detection via Joint Unsupervised Reconstruction and Supervised
Classification [25.84902508816679]
本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。
この方法は、あるタスクによって学習された情報を他のタスクと共有する。
提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-11-24T05:44:26Z) - Self-Supervised Visual Place Recognition by Mining Temporal and Feature
Neighborhoods [17.852415436033436]
時空間近傍と学習可能な特徴近傍を用いて未知空間近傍を探索するtextitTF-VPR という新しいフレームワークを提案する。
提案手法は,(1)データ拡張による表現学習,(2)現在の特徴空間を含む正の集合拡大,(3)幾何的検証による正の集合収縮を交互に行う。
論文 参考訳(メタデータ) (2022-08-19T12:59:46Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z) - Dataset Cartography: Mapping and Diagnosing Datasets with Training
Dynamics [118.75207687144817]
我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。
私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。
以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-22T20:19:41Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。