論文の概要: Data-Centric Debugging: mitigating model failures via targeted data
collection
- arxiv url: http://arxiv.org/abs/2211.09859v1
- Date: Thu, 17 Nov 2022 19:44:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 14:51:33.466992
- Title: Data-Centric Debugging: mitigating model failures via targeted data
collection
- Title(参考訳): データ中心のデバッグ: ターゲットデータ収集によるモデル障害の軽減
- Authors: Sahil Singla, Atoosa Malemir Chegini, Mazda Moayeri, Soheil Feiz
- Abstract要約: トレーニングセットがデプロイされているすべての設定を適切にカバーしていない場合、ディープニューラルネットワークは、現実世界では信頼性が低い可能性がある。
本稿では,従来のテストセットの性能を維持しつつ,$mathcalE$のモデル性能を体系的に改善できるモデルデバッグの一般的な手法を提案する。
- 参考スコア(独自算出の注目度): 4.599792546344752
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks can be unreliable in the real world when the training
set does not adequately cover all the settings where they are deployed.
Focusing on image classification, we consider the setting where we have an
error distribution $\mathcal{E}$ representing a deployment scenario where the
model fails. We have access to a small set of samples $\mathcal{E}_{sample}$
from $\mathcal{E}$ and it can be expensive to obtain additional samples. In the
traditional model development framework, mitigating failures of the model in
$\mathcal{E}$ can be challenging and is often done in an ad hoc manner. In this
paper, we propose a general methodology for model debugging that can
systemically improve model performance on $\mathcal{E}$ while maintaining its
performance on the original test set. Our key assumption is that we have access
to a large pool of weakly (noisily) labeled data $\mathcal{F}$. However,
naively adding $\mathcal{F}$ to the training would hurt model performance due
to the large extent of label noise. Our Data-Centric Debugging (DCD) framework
carefully creates a debug-train set by selecting images from $\mathcal{F}$ that
are perceptually similar to the images in $\mathcal{E}_{sample}$. To do this,
we use the $\ell_2$ distance in the feature space (penultimate layer
activations) of various models including ResNet, Robust ResNet and DINO where
we observe DINO ViTs are significantly better at discovering similar images
compared to Resnets. Compared to LPIPS, we find that our method reduces compute
and storage requirements by 99.58\%. Compared to the baselines that maintain
model performance on the test set, we achieve significantly (+9.45\%) improved
results on the debug-heldout sets.
- Abstract(参考訳): トレーニングセットがデプロイされたすべての設定を十分にカバーしていない場合、ディープニューラルネットワークは実世界で信頼できない場合がある。
イメージ分類に焦点をあてて、モデルが失敗するデプロイメントシナリオを表すエラー分布 $\mathcal{E}$ の設定を検討します。
我々は$\mathcal{E}_{sample}$から$\mathcal{E}_{sample}$の小さなサンプル集合にアクセスでき、追加のサンプルを得るのに費用がかかる。
従来のモデル開発フレームワークでは、$\mathcal{E}$でモデルの失敗を緩和することは困難であり、しばしばアドホックな方法で行われる。
本稿では,元のテストセットでの性能を維持しつつ,$\mathcal{e}$ のモデル性能を体系的に改善できる汎用的なモデルデバッグ手法を提案する。
私たちのキーとなる前提は、弱い(ノイズの多い)ラベル付きデータの大きなプールにアクセスできるということです。
しかし、トレーニングに$\mathcal{F}$を追加すると、大量のラベルノイズのためにモデルのパフォーマンスが損なわれる。
我々のData-Centric Debugging (DCD)フレームワークは、$\mathcal{F}$からイメージを選択して、$\mathcal{E}_{sample}$のイメージと知覚的に似ているデバッグトレインセットを慎重に作成します。
これを実現するために、ResNet、Robust ResNet、DINOなどのモデルの特徴空間(最小層アクティベーション)において$$\ell_2$の距離を使い、DINO ViTsがResnetsと比較して類似した画像を発見するのに優れていることを観察する。
LPIPSと比較して,本手法は計算とストレージの要求を99.58\%削減する。
モデルパフォーマンスをテストセットで維持するベースラインと比較して,デバッグ・ヘルプアウトセットで大幅に改善した(+9.45\%)。
関連論文リスト
- How Low Can You Go? Surfacing Prototypical In-Distribution Samples for
Unsupervised Anomaly Detection [56.06401423880554]
教師なし異常検出(UAD)は、ラベルなしの配布データのみをトレーニングすることで、大規模なラベル付け作業を軽減する。
ごく少数のトレーニングサンプルを使用することで、トレーニングデータセット全体のトレーニングと比較して、すでに一致し、場合によっては異常検出も改善できることが示されています。
論文 参考訳(メタデータ) (2023-12-06T15:30:47Z) - Exploring the Limits of Deep Image Clustering using Pretrained Models [1.1060425537315088]
本稿では,事前学習した特徴抽出器を利用してラベルなしで画像の分類を学習する手法を提案する。
本稿では,画像特徴間の関連性を学習する新たな目的について提案する。
論文 参考訳(メタデータ) (2023-03-31T08:56:29Z) - Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。
本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。
我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-02-09T13:46:42Z) - Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints [59.39280540478479]
密なチェックポイントから疎活性化されたMixture-of-Expertsモデルを初期化することにより、サンクトレーニングコストを再利用する簡単な方法であるスパースアップサイクリングを提案する。
我々は, 比較的高サイクルなT5 Base, Large, XL言語モデル, Vision Transformer Base と Large モデルが, SuperGLUE と ImageNet の高密度モデルよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-12-09T18:57:37Z) - On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。
本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。
テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
論文 参考訳(メタデータ) (2022-03-10T18:51:29Z) - Datamodels: Predicting Predictions from Training Data [86.66720175866415]
本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。
単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
論文 参考訳(メタデータ) (2022-02-01T18:15:24Z) - Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency
Modeling [6.081082481356211]
L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。
本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。
本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
論文 参考訳(メタデータ) (2021-06-30T19:33:35Z) - Exploring Sparse Expert Models and Beyond [51.90860155810848]
Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。
本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。
この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
論文 参考訳(メタデータ) (2021-05-31T16:12:44Z) - Webly Supervised Image Classification with Self-Contained Confidence [36.87209906372911]
本稿では,インターネットからサンプルをクロールし,検索クエリをWebラベルとして直接使用することにより,データセットを構築するウェブ教師あり学習(WSL)に焦点を当てる。
我々は、WSL設定にモデル不確実性を適用して自己完結信頼(SCC)を導入し、それをサンプル的に$mathcalL_s$と$mathcalL_w$のバランスをとるために使用します。
提案されたWSLフレームワークは、WebVision-1000とFood101-N. Codeの2つの大規模WSLデータセットに対して、最先端の結果を得た。
論文 参考訳(メタデータ) (2020-08-27T02:49:51Z) - Inner Ensemble Networks: Average Ensemble as an Effective Regularizer [20.33062212014075]
内部アンサンブルネットワーク(IEN)は、モデル複雑性を増大させることなく、ニューラルネットワーク自体内の分散を減少させる。
IENは、トレーニングフェーズ中にアンサンブルパラメータを使用して、ネットワークのばらつきを低減する。
論文 参考訳(メタデータ) (2020-06-15T11:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。