論文の概要: The SVHN Dataset Is Deceptive for Probabilistic Generative Models Due to a Distribution Mismatch

• arxiv url: http://arxiv.org/abs/2312.02168v2
• Date: Wed, 6 Dec 2023 05:16:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 17:53:41.388521
• Title: The SVHN Dataset Is Deceptive for Probabilistic Generative Models Due to a Distribution Mismatch
• Title（参考訳）: 分布ミスマッチによる確率的生成モデルに対するSVHNデータセットの認識
• Authors: Tim Z. Xiao, Johannes Zenn, Robert Bamler
• Abstract要約: Street View House Numbersデータセットは、ディープラーニングにおける人気のあるベンチマークデータセットである。 SVHNデータセットのトレーニングセットとテストセットに公式の分割が同じ分布から引き出されていないことを警告する。 本稿では,SVHNが分類以外のタスクに使用される場合に,公式のトレーニングセットとテストセットを混合して再分割することを提案する。
• 参考スコア（独自算出の注目度）: 12.542073306638988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Street View House Numbers (SVHN) dataset is a popular benchmark dataset in deep learning. Originally designed for digit classification tasks, the SVHN dataset has been widely used as a benchmark for various other tasks including generative modeling. However, with this work, we aim to warn the community about an issue of the SVHN dataset as a benchmark for generative modeling tasks: we discover that the official split into training set and test set of the SVHN dataset are not drawn from the same distribution. We empirically show that this distribution mismatch has little impact on the classification task (which may explain why this issue has not been detected before), but it severely affects the evaluation of probabilistic generative models, such as Variational Autoencoders and diffusion models. As a workaround, we propose to mix and re-split the official training and test set when SVHN is used for tasks other than classification. We publish a new split and the indices we used to create it at https://jzenn.github.io/svhn-remix/ .
• Abstract（参考訳）: ストリートビューハウス番号(SVHN)データセットは、ディープラーニングにおいて人気のあるベンチマークデータセットである。 もともとは桁分類タスク用に設計されたSVHNデータセットは、生成モデリングを含む様々なタスクのベンチマークとして広く使用されている。 しかし,本研究は,SVHNデータセットを生成モデルタスクのベンチマークとして,コミュニティに警告することを目的としている。 この分布ミスマッチが分類タスクにほとんど影響を与えないことを実証的に示すが、これはなぜ以前にも検出されていないのかを説明できるが、変分オートコーダや拡散モデルのような確率的生成モデルの評価に大きく影響する。 回避策として,svhnを分類以外のタスクに使用する場合,公式のトレーニングセットとテストセットを混合し,再分割することを提案する。 新しい分割とインデックスをhttps://jzenn.github.io/svhn-remix/で公開しています。

関連論文リスト

• SOAK: Same/Other/All K-fold cross-validation for estimating similarity of patterns in data subsets [39.12222516332026]
  私たちは、両方の質問に答えるために使える新しい方法であるSOAK、同じ/他の/すべてのK-foldクロスバリデーションを提案します。 SOAKは、データの異なるサブセットに基づいてトレーニングされたモデルを体系的に比較し、固定されたテストサブセットの予測に使用し、データサブセットにおける学習可能/予測可能なパターンの類似性を推定します。
  論文  参考訳（メタデータ） (2024-10-11T09:10:39Z)
• Adapted-MoE: Mixture of Experts with Test-Time Adaption for Anomaly Detection [10.12283550685127]
  そこで本稿では,同カテゴリの複数の分布を分割・分割して処理するAdapted-MoEを提案する。 具体的には,同じカテゴリのサンプルをサブクラスの特徴空間にルーティングする表現学習に基づくルーティングネットワークを提案する。 本研究では,未確認のサンプル表現と専門家モデルで学習した特徴分布の偏りを取り除くために,テスト時間適応を提案する。
  論文  参考訳（メタデータ） (2024-09-09T13:49:09Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation [85.13934713535527]
  分散シフトは、機械学習モデルの主要な障害源である。 入力データセットとユーザが指定したシフトを与えられたフレームワークは、望ましいシフトを示すインスタンスを返す。 本稿では,このデータセットインターフェースをImageNetデータセットに適用することにより,分散シフトの多種多様さにまたがるモデル動作の学習が可能になることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:56:26Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Model Rectification via Unknown Unknowns Extraction from Deployment Samples [8.0497115494227]
  本稿では, 訓練後のモデル修正を, 教師付き方式で実施することを目的とした, 汎用的なアルゴリズムフレームワークを提案する。 RTSCVは未知の未知(u.u.s)を抽出する RTSCVは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-08T11:46:19Z)
• WILDS: A Benchmark of in-the-Wild Distribution Shifts [157.53410583509924]
  分散シフトは、ワイルドにデプロイされた機械学習システムの精度を実質的に低下させることができる。 分散シフトの多様な範囲を反映した8つのベンチマークデータセットのキュレーションコレクションであるWILDSを紹介します。 本研究は, 標準訓練の結果, 分布性能よりも, 分布域外性能が有意に低下することを示す。
  論文  参考訳（メタデータ） (2020-12-14T11:14:56Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。