論文の概要: MetaCoCo: A New Few-Shot Classification Benchmark with Spurious Correlation

• arxiv url: http://arxiv.org/abs/2404.19644v1
• Date: Tue, 30 Apr 2024 15:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 13:46:04.918614
• Title: MetaCoCo: A New Few-Shot Classification Benchmark with Spurious Correlation
• Title（参考訳）: MetaCoCo: すっきりした相関性を備えた新しいFew-Shot分類ベンチマーク
• Authors: Min Zhang, Haoxuan Li, Fei Wu, Kun Kuang,
• Abstract要約: 実世界のシナリオから収集したスプリアス相関シフトを用いたベンチマークを提案する。 また,CLIPを事前学習した視覚言語モデルとして用いたメトリクスを提案する。 実験結果から,既存手法の性能はスプリアス相関シフトの有無で著しく低下することがわかった。
• 参考スコア（独自算出の注目度）: 46.50551811108464
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) problems in few-shot classification (FSC) occur when novel classes sampled from testing distributions differ from base classes drawn from training distributions, which considerably degrades the performance of deep learning models deployed in real-world applications. Recent studies suggest that the OOD problems in FSC mainly including: (a) cross-domain few-shot classification (CD-FSC) and (b) spurious-correlation few-shot classification (SC-FSC). Specifically, CD-FSC occurs when a classifier learns transferring knowledge from base classes drawn from seen training distributions but recognizes novel classes sampled from unseen testing distributions. In contrast, SC-FSC arises when a classifier relies on non-causal features (or contexts) that happen to be correlated with the labels (or concepts) in base classes but such relationships no longer hold during the model deployment. Despite CD-FSC has been extensively studied, SC-FSC remains understudied due to lack of the corresponding evaluation benchmarks. To this end, we present Meta Concept Context (MetaCoCo), a benchmark with spurious-correlation shifts collected from real-world scenarios. Moreover, to quantify the extent of spurious-correlation shifts of the presented MetaCoCo, we further propose a metric by using CLIP as a pre-trained vision-language model. Extensive experiments on the proposed benchmark are performed to evaluate the state-of-the-art methods in FSC, cross-domain shifts, and self-supervised learning. The experimental results show that the performance of the existing methods degrades significantly in the presence of spurious-correlation shifts. We open-source all codes of our benchmark and hope that the proposed MetaCoCo can facilitate future research on spurious-correlation shifts problems in FSC. The code is available at: https://github.com/remiMZ/MetaCoCo-ICLR24.
• Abstract（参考訳）: 数ショット分類(FSC)におけるアウト・オブ・ディストリビューション(OOD)問題は、テスト分布からサンプリングされた新しいクラスが、トレーニング分布から引き出されたベースクラスと異なる場合に起こり、現実世界のアプリケーションにデプロイされたディープラーニングモデルの性能を著しく低下させる。 最近の研究は、主にFSCにおけるOOD問題について示唆している。 (a)クロスドメイン小ショット分類(CD-FSC)および (b)スプリアス相関小ショット分類(SC-FSC)。 特に、CD-FSCは、分類者が、見知らぬトレーニング分布から引き出されたベースクラスから知識の伝達を学ぶが、見つからないテスト分布からサンプリングされた新しいクラスを認識するときに発生する。 これとは対照的に、SC-FSCは分類器がベースクラスのラベル(または概念)と相関する非因果的特徴(または文脈)に依存している場合に発生するが、そのような関係はモデル展開中にもはや保持されない。 CD-FSCは広く研究されているが、評価ベンチマークの欠如により、SC-FSCはまだ検討されていない。 この目的のために,現実世界のシナリオから収集したスプリアス相関シフトのベンチマークであるMetaConcept Context(MetaCoCo)を紹介する。 さらに,提案したMetaCoCoのスプリアス相関シフトの程度を定量化するために,CLIPを事前学習した視覚言語モデルとして用いたメトリクスを提案する。 FSC,クロスドメインシフト,自己教師型学習における最先端の手法を評価するために,提案したベンチマークの大規模な実験を行った。 実験結果から,既存手法の性能はスプリアス相関シフトの有無で著しく低下することがわかった。 我々はベンチマークのすべてのコードをオープンソース化し、提案されたMetaCoCoが将来のFSCの急激な相関シフト問題の研究を促進することを期待する。 コードはhttps://github.com/remiMZ/MetaCoCo-ICLR24.comで公開されている。

関連論文リスト

• Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
  学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。 これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。 我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
  論文  参考訳（メタデータ） (2024-06-01T19:53:25Z)
• Selective Classification Under Distribution Shifts [2.6541808384534478]
  選別分類において、分類器は過度なエラーを避けるために誤りとなる可能性のある予測を棄却する。 本稿では,分散シフトを考慮したSCフレームワークを提案する。 提案したスコア関数は、一般化されたSCのための既存のスコア関数よりも効果的で信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-05-08T15:52:50Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Exploring Hierarchical Classification Performance for Time Series Data: Dissimilarity Measures and Classifier Comparisons [0.0]
  本研究では,時系列データ解析における階層分類(HC)とフラット分類(FC)の手法の比較性能について検討した。 Jensen-Shannon Distance (JSD), Task similarity Distance (TSD), Based Distance (CBD)などの異種性対策が活用されている。
  論文  参考訳（メタデータ） (2024-02-07T21:46:26Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。