論文の概要: Localization Is All You Evaluate: Data Leakage in Online Mapping Datasets and How to Fix It

• arxiv url: http://arxiv.org/abs/2312.06420v2
• Date: Fri, 5 Apr 2024 13:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 18:35:30.465492
• Title: Localization Is All You Evaluate: Data Leakage in Online Mapping Datasets and How to Fix It
• Title（参考訳）: ローカライゼーションがすべて評価する - オンラインマッピングデータセットにおけるデータ漏洩と修正方法
• Authors: Adam Lilja, Junsheng Fu, Erik Stenborg, Lars Hammarstrand,
• Abstract要約: State-of-the-artメソッドは主にnuScenesとArgoverse 2データセットを使用してトレーニングされている。 nuScenesの80ドル以上、Argoverse 2のバリデーションとテストサンプルの40ドル以上は、トレーニングサンプルから5ドル以下である。 本研究では,地理的に不連続なデータ分割を提案し,未知の環境における真の性能を明らかにする。
• 参考スコア（独自算出の注目度）: 2.1665407462280446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The task of online mapping is to predict a local map using current sensor observations, e.g. from lidar and camera, without relying on a pre-built map. State-of-the-art methods are based on supervised learning and are trained predominantly using two datasets: nuScenes and Argoverse 2. However, these datasets revisit the same geographic locations across training, validation, and test sets. Specifically, over $80$% of nuScenes and $40$% of Argoverse 2 validation and test samples are less than $5$ m from a training sample. At test time, the methods are thus evaluated more on how well they localize within a memorized implicit map built from the training data than on extrapolating to unseen locations. Naturally, this data leakage causes inflated performance numbers and we propose geographically disjoint data splits to reveal the true performance in unseen environments. Experimental results show that methods perform considerably worse, some dropping more than $45$ mAP, when trained and evaluated on proper data splits. Additionally, a reassessment of prior design choices reveals diverging conclusions from those based on the original split. Notably, the impact of lifting methods and the support from auxiliary tasks (e.g., depth supervision) on performance appears less substantial or follows a different trajectory than previously perceived. Splits can be found at https://github.com/LiljaAdam/geographical-splits
• Abstract（参考訳）: オンラインマッピングの課題は、ライダーやカメラからの現在のセンサ観測を用いて、事前に構築された地図に頼ることなく、ローカルマップを予測することである。 State-of-the-artメソッドは教師付き学習に基づいており、主にnuScenesとArgoverse 2の2つのデータセットを使用して訓練されている。 しかしながら、これらのデータセットは、トレーニング、バリデーション、テストセット間で同じ地理的位置を再考する。 具体的には、80ドル以上のnuScenesと40ドル以上のArgoverse 2バリデーションとテストサンプルは、トレーニングサンプルから5ドル以下である。 テスト時には、トレーニングデータから構築された暗黙マップの暗黙マップ内でのローカライズが、不明瞭な場所への外挿よりも効果的に評価される。 当然,このデータ漏洩により性能が膨らみ,地理的に不整合なデータ分割が提案され,目に見えない環境での真の性能が明らかにされる。 実験の結果,適切なデータ分割をトレーニングし,評価すると,45ドル以上のmAPが低下する結果が得られた。 さらに、事前の設計選択の再評価により、元の分割に基づく結論から様々な結論が得られている。 特に, 昇降法と補助作業(例えば, 深度管理)が性能に与える影響は, 従来認識されていたよりも有意に小さく, あるいは異なる軌跡をたどる。 Splitsはhttps://github.com/LiljaAdam/geographical-splitsで見ることができる。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Test-Time Adaptation for Depth Completion [9.304152205375757]
  いくつかの(ソース)データセットでトレーニングされたモデルを転送して、ドメイン間のギャップによってテストデータをターゲットにする場合、パフォーマンスの劣化を観測することが一般的である。 本稿では,1枚の画像とそれに伴うスパース深度マップから高密度深度マップを推定するタスクである深度完成のためのオンラインテスト時間適応手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:59:52Z)
• DatasetEquity: Are All Samples Created Equal? In The Quest For Equity Within Datasets [4.833815605196965]
  本稿では,機械学習におけるデータ不均衡に対処する新しい手法を提案する。 深い知覚埋め込みとクラスタリングを用いて、画像の外観に基づいてサンプル確率を計算する。 次に、これらの可能性を使って、提案された$bf Generalized Focal Loss$関数で、トレーニング中にサンプルを異なる重さで測定する。
  論文  参考訳（メタデータ） (2023-08-19T02:11:49Z)
• Self-Supervised Visual Place Recognition by Mining Temporal and Feature Neighborhoods [17.852415436033436]
  時空間近傍と学習可能な特徴近傍を用いて未知空間近傍を探索するtextitTF-VPR という新しいフレームワークを提案する。 提案手法は,(1)データ拡張による表現学習,(2)現在の特徴空間を含む正の集合拡大,(3)幾何的検証による正の集合収縮を交互に行う。
  論文  参考訳（メタデータ） (2022-08-19T12:59:46Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Detecting Fake Points of Interest from Location Data [0.0]
  提案した研究は、教師付き学習手法と、位置情報に基づくデータに隠されたパターンを見つける能力に焦点を当てている。 目的は,Multi-Layer Perceptron (MLP) 法を用いてPOIの真偽を予測することである。 提案手法は従来の分類法, 頑健で最近のディープニューラル法と比較される。
  論文  参考訳（メタデータ） (2021-11-11T00:39:02Z)
• Deep Learning on a Data Diet: Finding Important Examples Early in Training [35.746302913918484]
  ビジョンデータセットでは、トレーニングの初期段階で重要な例を特定するために、単純なスコアを使用することができる。 グラディエントノルメッド(GraNd)と誤差L2-ノルム(EL2N)という2つのスコアを提案する。
  論文  参考訳（メタデータ） (2021-07-15T02:12:20Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)
• Rethinking Localization Map: Towards Accurate Object Perception with Self-Enhancement Maps [78.2581910688094]
  本研究は, カテゴリーラベルのみを監督として, 正確な対象位置分布マップと対象境界を抽出する, 新たな自己強調手法を提案する。 特に、提案されたセルフエンハンスメントマップは、ILSVRC上で54.88%の最先端のローカライゼーション精度を達成する。
  論文  参考訳（メタデータ） (2020-06-09T12:35:55Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。