論文の概要: Intrinsic Self-Supervision for Data Quality Audits

• arxiv url: http://arxiv.org/abs/2305.17048v3
• Date: Mon, 28 Oct 2024 18:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:37:07.346807
• Title: Intrinsic Self-Supervision for Data Quality Audits
• Title（参考訳）: データ品質監査のための固有のセルフスーパービジョン
• Authors: Fabian Gröger, Simone Lionetti, Philippe Gottfrois, Alvaro Gonzalez-Jimenez, Ludovic Amruthalingam, Labelling Consortium, Matthew Groh, Alexander A. Navarini, Marc Pouly,
• Abstract要約: コンピュータビジョンにおけるベンチマークデータセットは、しばしば、オフトピック画像、ほぼ重複、ラベルエラーを含む。 本稿では,データクリーニングの課題を再考し,ランキング問題やスコアリング問題として定式化する。 文脈認識型自己教師型表現学習と距離に基づく指標の組み合わせは, 適応バイアスのない問題発見に有効であることがわかった。
• 参考スコア（独自算出の注目度）: 35.69673085324971
• License:
• Abstract: Benchmark datasets in computer vision often contain off-topic images, near duplicates, and label errors, leading to inaccurate estimates of model performance. In this paper, we revisit the task of data cleaning and formalize it as either a ranking problem, which significantly reduces human inspection effort, or a scoring problem, which allows for automated decisions based on score distributions. We find that a specific combination of context-aware self-supervised representation learning and distance-based indicators is effective in finding issues without annotation biases. This methodology, which we call SelfClean, surpasses state-of-the-art performance in detecting off-topic images, near duplicates, and label errors within widely-used image datasets, such as ImageNet-1k, Food-101N, and STL-10, both for synthetic issues and real contamination. We apply the detailed method to multiple image benchmarks, identify up to 16% of issues, and confirm an improvement in evaluation reliability upon cleaning. The official implementation can be found at: https://github.com/Digital-Dermatology/SelfClean.
• Abstract（参考訳）: コンピュータビジョンにおけるベンチマークデータセットには、しばしば、オフトピック画像、ほぼ重複、ラベルエラーが含まれており、モデルパフォーマンスの不正確な推定につながっている。 本稿では,データクリーニングの課題を再検討し,人間の検査作業を大幅に削減するランキング問題,あるいはスコア分布に基づく自動判定を可能にするスコア問題のいずれかとして定式化する。 文脈認識型自己教師型表現学習と距離に基づく指標の組み合わせは, 適応バイアスのない問題発見に有効であることがわかった。 この手法は,画像Net-1k,Food-101N,STL-10などの画像データセットにおいて,合成問題と実汚染の両面において,オフトピー画像の検出における最先端性能を超越している。 本手法を複数の画像ベンチマークに適用し,問題の最大16%を同定し,クリーニング時の信頼性向上を確認した。 公式実装は、https://github.com/Digital-Dermatology/SelfCleanで見ることができる。

関連論文リスト

• Automated Classification of Model Errors on ImageNet [7.455546102930913]
  モデル選択がエラー分布にどのように影響するかを研究するための自動エラー分類フレームワークを提案する。 我々は、900以上のモデルのエラー分布を網羅的に評価するために、我々のフレームワークを使用します。 特に、重大エラーの一部は、モデルの性能を過小評価しているにもかかわらず、重要なパフォーマンス指標であることを示すトップ1の精度で大幅に低下する。
  論文  参考訳（メタデータ） (2023-11-13T20:41:39Z)
• Estimating label quality and errors in semantic segmentation data via any model [19.84626033109009]
  ラベル品質を評価する手法について検討し、最も低いスコアのイメージを正しくラベル付けする可能性が低いことを示す。 これにより、高品質なトレーニング/評価データセットを保証するために、レビューするデータを優先順位付けすることが可能になる。
  論文  参考訳（メタデータ） (2023-07-11T07:29:09Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Benchmarking the Robustness of Deep Neural Networks to Common Corruptions in Digital Pathology [11.398235052118608]
  このベンチマークは、腐敗した病理画像に対して、ディープニューラルネットワークがどのように機能するかを評価するために確立されている。 2つの分類と1つのランキングのメトリクスは、汚職下での予測と信頼性のパフォーマンスを評価するために設計されている。
  論文  参考訳（メタデータ） (2022-06-30T01:53:46Z)
• Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment [73.61888777504377]
  フル参照(FR)画像品質評価(IQA)は、その知覚的差異をプリズム品質基準で測定することにより、歪み画像の視覚的品質を評価する。 ラベルなしデータは、画像劣化または復元プロセスから容易に収集することができ、ラベルなしのトレーニングデータを利用してFR-IQA性能を高めることを奨励する。 本稿では, 半教師付き, 正の未ラベル学習(PU)を用いて, ラベルなしデータを活用し, オフレーヤの悪影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2022-04-19T09:10:06Z)
• Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images [60.89777029184023]
  教師付きクロスエントロピー(CE)損失に加えて、教師なしCD損失を定式化する半教師付きCDモデルを提案する。 2つの公開CDデータセットを用いて実験を行った結果,提案手法は教師付きCDの性能に近づきやすいことがわかった。
  論文  参考訳（メタデータ） (2022-04-18T17:59:01Z)
• Understanding out-of-distribution accuracies through quantifying difficulty of test samples [10.266928164137635]
  既存の研究によると、現代のニューラルネットワークは、分布内データセット(ID)において顕著な一般化性能を達成するが、分布外データセット(OOD)では精度が著しく低下する。 トレーニングデータセットとモデルの相互作用に依存するテスト画像(IDまたはOOD)の難易度を定量化する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-28T21:13:41Z)
• A new baseline for retinal vessel segmentation: Numerical identification and correction of methodological inconsistencies affecting 100+ papers [0.0]
  得られた性能スコアのコヒーレンスに関する詳細な数値解析を行った。 視野の使用に関する報告結果に矛盾が認められた。 これまでに達成された最高精度はFoV領域の0.9582であり、これは人間のアノテーションよりも1%高い。
  論文  参考訳（メタデータ） (2021-11-06T11:09:11Z)
• Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
  異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。 本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。 この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。 本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T01:36:08Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。