論文の概要: Producing Plankton Classifiers that are Robust to Dataset Shift

• arxiv url: http://arxiv.org/abs/2401.14256v1
• Date: Thu, 25 Jan 2024 15:47:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 14:07:22.250354
• Title: Producing Plankton Classifiers that are Robust to Dataset Shift
• Title（参考訳）: データセットシフトにロバストなプランクトン分類器の作成
• Authors: Cheng Chen, Sreenath Kyathanahally, Marta Reyes, Stefanie Merkli, Ewa Merz, Emanuele Francazi, Marvin Hoege, Francesco Pomati, Marco Baity-Jesi
• Abstract要約: ZooLakeデータセットを10日間の独立デプロイから手動でアノテートしたイメージと統合し、OOD(Out-Of-Dataset)のパフォーマンスをベンチマークします。 分類に悪影響を及ぼすOOD画像において,新たなデータの分類において潜在的な落とし穴を識別するプリエンプティブアセスメント手法を提案する。 BEiTビジョントランスのアンサンブルは,OODロバスト性,幾何アンサンブル,回転型テストタイムアンサンブルに対応し,BEsTモデルと呼ばれる最もロバストなモデルとなっている。
• 参考スコア（独自算出の注目度）: 1.716364772047407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern plankton high-throughput monitoring relies on deep learning classifiers for species recognition in water ecosystems. Despite satisfactory nominal performances, a significant challenge arises from Dataset Shift, which causes performances to drop during deployment. In our study, we integrate the ZooLake dataset with manually-annotated images from 10 independent days of deployment, serving as test cells to benchmark Out-Of-Dataset (OOD) performances. Our analysis reveals instances where classifiers, initially performing well in In-Dataset conditions, encounter notable failures in practical scenarios. For example, a MobileNet with a 92% nominal test accuracy shows a 77% OOD accuracy. We systematically investigate conditions leading to OOD performance drops and propose a preemptive assessment method to identify potential pitfalls when classifying new data, and pinpoint features in OOD images that adversely impact classification. We present a three-step pipeline: (i) identifying OOD degradation compared to nominal test performance, (ii) conducting a diagnostic analysis of degradation causes, and (iii) providing solutions. We find that ensembles of BEiT vision transformers, with targeted augmentations addressing OOD robustness, geometric ensembling, and rotation-based test-time augmentation, constitute the most robust model, which we call BEsT model. It achieves an 83% OOD accuracy, with errors concentrated on container classes. Moreover, it exhibits lower sensitivity to dataset shift, and reproduces well the plankton abundances. Our proposed pipeline is applicable to generic plankton classifiers, contingent on the availability of suitable test cells. By identifying critical shortcomings and offering practical procedures to fortify models against dataset shift, our study contributes to the development of more reliable plankton classification technologies.
• Abstract（参考訳）: 現代のプランクトン高スループットモニタリングは、水生態系における種認識のためのディープラーニング分類器に依存している。 名目上のパフォーマンスが満足できるにも関わらず、Dataset Shiftから大きな課題が発生し、デプロイメント中にパフォーマンスが低下する。 本研究では,zoolakeデータセットを,デプロイから10日間の手動アノテーション付きイメージに統合し,out-of-dataset(ood)パフォーマンスをベンチマークするテストセルとして機能する。 分析の結果,データセット内の条件で動作した分類器が,実際のシナリオで注目すべき障害に遭遇する事例が明らかになった。 例えば、名目テストの精度が92%のMobileNetは、OODの精度が77%である。 我々は,OOD性能低下につながる条件を体系的に検討し,新しいデータの分類において潜在的な落とし穴を識別するためのプリエンプティブアセスメント手法を提案し,分類に悪影響を及ぼすOOD画像の特徴を指摘する。 3段階のパイプラインを示す。 (i)OOD劣化を名目テスト性能と比較して同定する。 (ii)劣化原因の診断分析を行うこと、及び 三 解決策の提供 BEiTビジョントランスのアンサンブルは,OODロバスト性,幾何アンサンブル,回転型テストタイムアンサンブルに対応し,BEsTモデルと呼ばれる最もロバストなモデルとなっている。 エラーはコンテナクラスに集中して83%のOOD精度を達成する。 さらに、データセットシフトに対する感度が低く、プランクトンの存在量を十分に再現する。 提案するパイプラインは汎用プランクトン分類器に適用可能である。 重要な欠点を特定し,データセットシフトに対するモデル強化のための実用的な手順を提供することで,より信頼性の高いプランクトン分類技術の開発に寄与する。

関連論文リスト

• Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving [55.93813178692077]
  本稿では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを紹介する。 検出,マップセグメンテーション,深さ推定,占有予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。 また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T17:59:39Z)
• Which Augmentation Should I Use? An Empirical Investigation of Augmentations for Self-Supervised Phonocardiogram Representation Learning [5.438725298163702]
  Contrastive Self-Supervised Learning (SSL)はラベル付きデータの不足に対する潜在的な解決策を提供する。 1次元心電図(PCG)分類におけるコントラスト学習の最適化を提案する。 トレーニング分布によっては、完全教師付きモデルの有効性が最大32%低下し、SSLモデルは最大10%低下し、場合によっては改善される。
  論文  参考訳（メタデータ） (2023-12-01T11:06:00Z)
• Exploring the Physical World Adversarial Robustness of Vehicle Detection [13.588120545886229]
  アドリアックは現実世界の検知モデルの堅牢性を損なう可能性がある。 CARLAシミュレータを用いた革新的なインスタントレベルデータ生成パイプラインを提案する。 本研究は, 逆境条件下での多種多様なモデル性能について考察した。
  論文  参考訳（メタデータ） (2023-08-07T11:09:12Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Understanding and Testing Generalization of Deep Networks on Out-of-Distribution Data [30.471871571256198]
  ディープネットワークモデルは、In-Distributionデータでは優れた性能を発揮するが、Out-Of-Distributionデータでは著しく失敗する可能性がある。 本研究は,実験的なIDテストの問題を分析し,OODテストパラダイムを設計することを目的とする。
  論文  参考訳（メタデータ） (2021-11-17T15:29:07Z)
• Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
  本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。 提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
  論文  参考訳（メタデータ） (2021-06-22T16:53:09Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。