論文の概要: Distributionally Robust Classification on a Data Budget

• arxiv url: http://arxiv.org/abs/2308.03821v1
• Date: Mon, 7 Aug 2023 15:30:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 15:24:26.972906
• Title: Distributionally Robust Classification on a Data Budget
• Title（参考訳）: データ予算の分布的ロバスト分類
• Authors: Benjamin Feuer, Ameya Joshi, Minh Pham, Chinmay Hegde
• Abstract要約: 2.4万の画像サンプル上でのクロスエントロピー損失でトレーニングされた標準ResNet-50は、4億の画像サンプルでトレーニングされたCLIP ResNet-50と同等の堅牢性を達成できることを示す。 これは、限られたデータ予算に対して(ほぼ)最先端の分散ロバスト性を示す最初の結果である。
• 参考スコア（独自算出の注目度）: 26.69877485937123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real world uses of deep learning require predictable model behavior under distribution shifts. Models such as CLIP show emergent natural distributional robustness comparable to humans, but may require hundreds of millions of training samples. Can we train robust learners in a domain where data is limited? To rigorously address this question, we introduce JANuS (Joint Annotations and Names Set), a collection of four new training datasets with images, labels, and corresponding captions, and perform a series of carefully controlled investigations of factors contributing to robustness in image classification, then compare those results to findings derived from a large-scale meta-analysis. Using this approach, we show that standard ResNet-50 trained with the cross-entropy loss on 2.4 million image samples can attain comparable robustness to a CLIP ResNet-50 trained on 400 million samples. To our knowledge, this is the first result showing (near) state-of-the-art distributional robustness on limited data budgets. Our dataset is available at \url{https://huggingface.co/datasets/penfever/JANuS_dataset}, and the code used to reproduce our experiments can be found at \url{https://github.com/penfever/vlhub/}.
• Abstract（参考訳）: ディープラーニングの現実世界の利用には、分散シフト下での予測可能なモデル行動が必要である。 CLIPのようなモデルは、人間に匹敵する突発的な自然分布の堅牢性を示すが、数億のトレーニングサンプルを必要とする可能性がある。 データ制限のある領域で、堅牢な学習者をトレーニングできますか? そこで本研究では,画像,ラベル,対応するキャプションを含む4つの新しい学習データセットであるjanus (joint annotations and names set) を紹介し,画像分類の堅牢性に寄与する要因の一連の注意深く制御された調査を行い,それらの結果を大規模メタ分析から得られた結果と比較する。 このアプローチを用いることで、240万の画像サンプルのクロスエントロピー損失でトレーニングされた標準ResNet-50が、4億のサンプルでトレーニングされたCLIP ResNet-50に匹敵する堅牢性を達成できることを示す。 私たちの知る限りでは、これは限られたデータ予算に対して(ほぼ)最先端の分散性を示す最初の結果です。 私たちのデータセットは \url{https://huggingface.co/datasets/penfever/janus_dataset} で利用可能であり、実験の再現に使用されたコードは \url{https://github.com/penfever/vlhub/} で見ることができる。

関連論文リスト

• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• DatasetEquity: Are All Samples Created Equal? In The Quest For Equity Within Datasets [4.833815605196965]
  本稿では,機械学習におけるデータ不均衡に対処する新しい手法を提案する。 深い知覚埋め込みとクラスタリングを用いて、画像の外観に基づいてサンプル確率を計算する。 次に、これらの可能性を使って、提案された$bf Generalized Focal Loss$関数で、トレーニング中にサンプルを異なる重さで測定する。
  論文  参考訳（メタデータ） (2023-08-19T02:11:49Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• Incorporating Crowdsourced Annotator Distributions into Ensemble Modeling to Improve Classification Trustworthiness for Ancient Greek Papyri [3.870354915766567]
  このようなデータセットの問題を複雑にする2つの問題は、クラス不均衡とラベリングにおける地道不確実性である。 このようなデータセットに対するアンサンブルモデリングの応用は、地上の真実が疑問視されている画像を特定し、それらのサンプルの信頼性を定量化するのに役立ちます。
  論文  参考訳（メタデータ） (2022-10-28T19:39:14Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• GDC- Generalized Distribution Calibration for Few-Shot Learning [5.076419064097734]
  大規模なラベル付きデータセットを組み立てるのにかなりの時間と労力を要するため、機械学習において重要な問題となるショットラーニングはほとんどない。 ほとんどの少数ショット学習アルゴリズムは、2つの制限の1つに悩まされている。 そこで本研究では,全大クラスの重み付きランダム変数として分類する際,少数ショット分布を推定する一般サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-11T16:22:53Z)
• KNN-Diffusion: Image Generation via Large-Scale Retrieval [40.6656651653888]
  適応する学習は、いくつかの新しい機能を可能にします。 微調整の訓練されたモデルと新しいサンプルは、単にテーブルに追加するだけで実現できる。 我々の拡散モデルでは、共同のテキスト・イメージ・マルチモーダル・メトリックを利用することで、画像のみを訓練する。
  論文  参考訳（メタデータ） (2022-04-06T14:13:35Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Feature Generation for Long-tail Classification [36.186909933006675]
  そこで本研究では,テールカテゴリーの分布を推定して有意義な特徴を生成する方法を示す。 また、t-SNE視覚化を用いて生成した特徴の質的分析を行い、末尾クラス分布のキャリブレーションに最も近い隣人を解析する。
  論文  参考訳（メタデータ） (2021-11-10T21:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。