論文の概要: Localization Is All You Evaluate: Data Leakage in Online Mapping Datasets and How to Fix It

• arxiv url: http://arxiv.org/abs/2312.06420v1
• Date: Mon, 11 Dec 2023 14:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 15:18:19.748237
• Title: Localization Is All You Evaluate: Data Leakage in Online Mapping Datasets and How to Fix It
• Title（参考訳）: ローカライゼーションは、あなたが評価するすべてである - オンラインマッピングデータセットにおけるデータ漏洩とその修正方法
• Authors: Adam Lilja, Junsheng Fu, Erik Stenborg, Lars Hammarstrand
• Abstract要約: オンラインマッピングの方法は,主にnuScenesとArgoverse 2の2つのデータセットを使用してトレーニングされている。 nuScenesの80ドル以上、Argoverse 2のバリデーションとテストサンプルの40ドル以上は、トレーニングサンプルから5ドル未満の位置にある。 これにより、テスト中に暗黙のマップを暗記したメソッドをローカライズすることができ、インフレーションされたパフォーマンス番号が報告される。
• 参考スコア（独自算出の注目度）: 2.3243644740128326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data leakage is a critical issue when training and evaluating any method based on supervised learning. The state-of-the-art methods for online mapping are based on supervised learning and are trained predominantly using two datasets: nuScenes and Argoverse 2. These datasets revisit the same geographic locations across training, validation, and test sets. Specifically, over $80$% of nuScenes and $40$% of Argoverse 2 validation and test samples are located less than $5$ m from a training sample. This allows methods to localize within a memorized implicit map during testing and leads to inflated performance numbers being reported. To reveal the true performance in unseen environments, we introduce geographical splits of the data. Experimental results show significantly lower performance numbers, for some methods dropping with more than $45$ mAP, when retraining and reevaluating existing online mapping models with the proposed split. Additionally, a reassessment of prior design choices reveals diverging conclusions from those based on the original split. Notably, the impact of the lifting method and the support from auxiliary tasks (e.g., depth supervision) on performance appears less substantial or follows a different trajectory than previously perceived. Geographical splits can be found https://github.com/LiljaAdam/geographical-splits
• Abstract（参考訳）: データ漏洩は、教師付き学習に基づくあらゆる方法の訓練と評価において重要な問題である。 オンラインマッピングの最先端の手法は教師付き学習に基づいており、主にnuScenesとArgoverse 2の2つのデータセットを使用して訓練されている。 これらのデータセットは、トレーニング、検証、テストセット間で同じ地理的位置を再考する。 具体的には、nuscenesの80$%とargoverse 2の検証とテストサンプルの40$%以上は、トレーニングサンプルから5ドル未満の場所にある。 これによりメソッドは、テスト中に暗黙の暗黙のマップ内にローカライズすることができ、膨らんだパフォーマンス番号が報告される。 未認識環境における真の性能を明らかにするために,データの地理的分割を導入する。 実験の結果,既存のオンラインマッピングモデルの再訓練と再評価を行う際に,45ドル以上のmAPで低下する手法が提案された。 さらに、事前の設計選択の再評価により、元の分割に基づく結果から逸脱する結論が明らかになった。 特に、昇降法と補助作業(例えば、深度監視)が性能に与える影響は、以前認識されていたよりも顕著に、あるいは異なる軌道を辿るように見える。 地理的な分割はhttps://github.com/liljaadam/geographical-splitsにある。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Test-Time Adaptation for Depth Completion [9.304152205375757]
  いくつかの(ソース)データセットでトレーニングされたモデルを転送して、ドメイン間のギャップによってテストデータをターゲットにする場合、パフォーマンスの劣化を観測することが一般的である。 本稿では,1枚の画像とそれに伴うスパース深度マップから高密度深度マップを推定するタスクである深度完成のためのオンラインテスト時間適応手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:59:52Z)
• DatasetEquity: Are All Samples Created Equal? In The Quest For Equity Within Datasets [4.833815605196965]
  本稿では,機械学習におけるデータ不均衡に対処する新しい手法を提案する。 深い知覚埋め込みとクラスタリングを用いて、画像の外観に基づいてサンプル確率を計算する。 次に、これらの可能性を使って、提案された$bf Generalized Focal Loss$関数で、トレーニング中にサンプルを異なる重さで測定する。
  論文  参考訳（メタデータ） (2023-08-19T02:11:49Z)
• Deepfake Detection via Joint Unsupervised Reconstruction and Supervised Classification [25.84902508816679]
  本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。 この方法は、あるタスクによって学習された情報を他のタスクと共有する。 提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-11-24T05:44:26Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Detecting Fake Points of Interest from Location Data [0.0]
  提案した研究は、教師付き学習手法と、位置情報に基づくデータに隠されたパターンを見つける能力に焦点を当てている。 目的は,Multi-Layer Perceptron (MLP) 法を用いてPOIの真偽を予測することである。 提案手法は従来の分類法, 頑健で最近のディープニューラル法と比較される。
  論文  参考訳（メタデータ） (2021-11-11T00:39:02Z)
• Deep Learning on a Data Diet: Finding Important Examples Early in Training [35.746302913918484]
  ビジョンデータセットでは、トレーニングの初期段階で重要な例を特定するために、単純なスコアを使用することができる。 グラディエントノルメッド(GraNd)と誤差L2-ノルム(EL2N)という2つのスコアを提案する。
  論文  参考訳（メタデータ） (2021-07-15T02:12:20Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)
• Rethinking Localization Map: Towards Accurate Object Perception with Self-Enhancement Maps [78.2581910688094]
  本研究は, カテゴリーラベルのみを監督として, 正確な対象位置分布マップと対象境界を抽出する, 新たな自己強調手法を提案する。 特に、提案されたセルフエンハンスメントマップは、ILSVRC上で54.88%の最先端のローカライゼーション精度を達成する。
  論文  参考訳（メタデータ） (2020-06-09T12:35:55Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。