論文の概要: Extending the WILDS Benchmark for Unsupervised Adaptation

• arxiv url: http://arxiv.org/abs/2112.05090v1
• Date: Thu, 9 Dec 2021 18:32:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 13:24:09.672737
• Title: Extending the WILDS Benchmark for Unsupervised Adaptation
• Title（参考訳）: 教師なし適応のためのWILDSベンチマークの拡張
• Authors: Shiori Sagawa, Pang Wei Koh, Tony Lee, Irena Gao, Sang Michael Xie, Kendrick Shen, Ananya Kumar, Weihua Hu, Michihiro Yasunaga, Henrik Marklund, Sara Beery, Etienne David, Ian Stavness, Wei Guo, Jure Leskovec, Kate Saenko, Tatsunori Hashimoto, Sergey Levine, Chelsea Finn, Percy Liang
• Abstract要約: We present the WILDS 2.0 update, which extends 8 of the 10 datasets in the WILDS benchmark of distribution shifts to include curated unlabeled data。 これらのデータセットは、組織学から野生生物保護まで幅広い応用、タスク(分類、回帰、検出)、モダリティにまたがる。 ドメイン不変量や自己学習,自己管理など,ラベルのないデータを活用する最先端の手法を体系的にベンチマークする。
• 参考スコア（独自算出の注目度）: 186.90399201508953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning systems deployed in the wild are often trained on a source distribution but deployed on a different target distribution. Unlabeled data can be a powerful point of leverage for mitigating these distribution shifts, as it is frequently much more available than labeled data. However, existing distribution shift benchmarks for unlabeled data do not reflect the breadth of scenarios that arise in real-world applications. In this work, we present the WILDS 2.0 update, which extends 8 of the 10 datasets in the WILDS benchmark of distribution shifts to include curated unlabeled data that would be realistically obtainable in deployment. To maintain consistency, the labeled training, validation, and test sets, as well as the evaluation metrics, are exactly the same as in the original WILDS benchmark. These datasets span a wide range of applications (from histology to wildlife conservation), tasks (classification, regression, and detection), and modalities (photos, satellite images, microscope slides, text, molecular graphs). We systematically benchmark state-of-the-art methods that leverage unlabeled data, including domain-invariant, self-training, and self-supervised methods, and show that their success on WILDS 2.0 is limited. To facilitate method development and evaluation, we provide an open-source package that automates data loading and contains all of the model architectures and methods used in this paper. Code and leaderboards are available at https://wilds.stanford.edu.
• Abstract（参考訳）: ワイルドにデプロイされた機械学習システムは、しばしばソースディストリビューションでトレーニングされるが、異なるターゲットディストリビューションにデプロイされる。 ラベル付きデータは、ラベル付きデータよりも頻繁に利用できるため、これらの分散シフトを緩和するための強力なレバレッジポイントとなり得る。 しかしながら、ラベルのないデータに対する既存の分散シフトベンチマークは、現実世界のアプリケーションで発生するシナリオの幅を反映していない。 本稿では,WILDS 2.0の更新について紹介する。この更新は,WILDSの分散シフトベンチマークの10データセットのうち8データセットを拡張して,デプロイ時に現実的に取得可能な未ラベルデータを含むようにする。 一貫性を維持するため、ラベル付きトレーニング、検証、テストセット、評価メトリクスは、オリジナルのWILDSベンチマークとまったく同じである。 これらのデータセットは、さまざまな応用(組織学から野生生物保護まで)、タスク(分類、回帰、検出)、モダリティ(写真、衛星画像、顕微鏡スライド、テキスト、分子グラフ)にまたがる。 我々は,ドメイン不変性や自己学習,自己管理など,ラベルのないデータを活用する最先端の手法を体系的にベンチマークし,WILDS 2.0におけるその成功が限定されていることを示す。 手法の開発と評価を容易にするために,データローディングを自動化し,本論文で使用するモデルアーキテクチャと手法をすべて含むオープンソースパッケージを提供する。 コードとリーダーボードはhttps://wilds.stanford.edu.comで入手できる。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Channel-Selective Normalization for Label-Shift Robust Test-Time Adaptation [16.657929958093824]
  テスト時間適応は、推論中にモデルを新しいデータ分布に調整するアプローチである。 テスト時のバッチ正規化は、ドメインシフトベンチマークで魅力的なパフォーマンスを達成した、シンプルで一般的な方法である。 本稿では、ディープネットワークにおけるチャネルのみを選択的に適応させ、ラベルシフトに敏感な劇的な適応を最小化することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2024-02-07T15:41:01Z)
• Wild-Time: A Benchmark of in-the-Wild Distribution Shift over Time [69.77704012415845]
  時間的シフトは、現実世界にデプロイされた機械学習モデルのパフォーマンスを著しく低下させる可能性がある。 ドメイン一般化、連続学習、自己教師付き学習、アンサンブル学習の手法を含む13の先行手法をベンチマークする。 いずれの評価方略も,分布外データから分布外データへの平均的な性能低下を観察する。
  論文  参考訳（メタデータ） (2022-11-25T17:07:53Z)
• Dual-Curriculum Teacher for Domain-Inconsistent Object Detection in Autonomous Driving [43.573192013344055]
  自律運転では、データは通常、異なる天候条件や1日の異なる時間など、異なるシナリオから収集される。 1)データ分散の相違、(2)クラス分散の相違などである。 本稿では,この問題に対処するため,Dual-Curriculum Teacher (DucTeacher)を提案する。
  論文  参考訳（メタデータ） (2022-10-17T05:00:27Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• Adversarial Knowledge Transfer from Unlabeled Data [62.97253639100014]
  本稿では,インターネット規模の未ラベルデータから知識を伝達し,分類器の性能を向上させるための新しいAdversarial Knowledge Transferフレームワークを提案する。 我々の手法の重要な新しい側面は、ラベル付けされていないソースデータは、ラベル付けされたターゲットデータと異なるクラスであることができ、個別のプリテキストタスクを定義する必要がないことである。
  論文  参考訳（メタデータ） (2020-08-13T08:04:27Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。