論文の概要: Data-Centric Debugging: mitigating model failures via targeted data collection

• arxiv url: http://arxiv.org/abs/2211.09859v1
• Date: Thu, 17 Nov 2022 19:44:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:51:33.466992
• Title: Data-Centric Debugging: mitigating model failures via targeted data collection
• Title（参考訳）: データ中心のデバッグ: ターゲットデータ収集によるモデル障害の軽減
• Authors: Sahil Singla, Atoosa Malemir Chegini, Mazda Moayeri, Soheil Feiz
• Abstract要約: トレーニングセットがデプロイされているすべての設定を適切にカバーしていない場合、ディープニューラルネットワークは、現実世界では信頼性が低い可能性がある。 本稿では,従来のテストセットの性能を維持しつつ,$mathcalE$のモデル性能を体系的に改善できるモデルデバッグの一般的な手法を提案する。
• 参考スコア（独自算出の注目度）: 4.599792546344752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks can be unreliable in the real world when the training set does not adequately cover all the settings where they are deployed. Focusing on image classification, we consider the setting where we have an error distribution $\mathcal{E}$ representing a deployment scenario where the model fails. We have access to a small set of samples $\mathcal{E}_{sample}$ from $\mathcal{E}$ and it can be expensive to obtain additional samples. In the traditional model development framework, mitigating failures of the model in $\mathcal{E}$ can be challenging and is often done in an ad hoc manner. In this paper, we propose a general methodology for model debugging that can systemically improve model performance on $\mathcal{E}$ while maintaining its performance on the original test set. Our key assumption is that we have access to a large pool of weakly (noisily) labeled data $\mathcal{F}$. However, naively adding $\mathcal{F}$ to the training would hurt model performance due to the large extent of label noise. Our Data-Centric Debugging (DCD) framework carefully creates a debug-train set by selecting images from $\mathcal{F}$ that are perceptually similar to the images in $\mathcal{E}_{sample}$. To do this, we use the $\ell_2$ distance in the feature space (penultimate layer activations) of various models including ResNet, Robust ResNet and DINO where we observe DINO ViTs are significantly better at discovering similar images compared to Resnets. Compared to LPIPS, we find that our method reduces compute and storage requirements by 99.58\%. Compared to the baselines that maintain model performance on the test set, we achieve significantly (+9.45\%) improved results on the debug-heldout sets.
• Abstract（参考訳）: トレーニングセットがデプロイされたすべての設定を十分にカバーしていない場合、ディープニューラルネットワークは実世界で信頼できない場合がある。 イメージ分類に焦点をあてて、モデルが失敗するデプロイメントシナリオを表すエラー分布 $\mathcal{E}$ の設定を検討します。 我々は$\mathcal{E}_{sample}$から$\mathcal{E}_{sample}$の小さなサンプル集合にアクセスでき、追加のサンプルを得るのに費用がかかる。 従来のモデル開発フレームワークでは、$\mathcal{E}$でモデルの失敗を緩和することは困難であり、しばしばアドホックな方法で行われる。 本稿では,元のテストセットでの性能を維持しつつ,$\mathcal{e}$ のモデル性能を体系的に改善できる汎用的なモデルデバッグ手法を提案する。 私たちのキーとなる前提は、弱い(ノイズの多い)ラベル付きデータの大きなプールにアクセスできるということです。 しかし、トレーニングに$\mathcal{F}$を追加すると、大量のラベルノイズのためにモデルのパフォーマンスが損なわれる。 我々のData-Centric Debugging (DCD)フレームワークは、$\mathcal{F}$からイメージを選択して、$\mathcal{E}_{sample}$のイメージと知覚的に似ているデバッグトレインセットを慎重に作成します。 これを実現するために、ResNet、Robust ResNet、DINOなどのモデルの特徴空間(最小層アクティベーション)において$$\ell_2$の距離を使い、DINO ViTsがResnetsと比較して類似した画像を発見するのに優れていることを観察する。 LPIPSと比較して,本手法は計算とストレージの要求を99.58\%削減する。 モデルパフォーマンスをテストセットで維持するベースラインと比較して,デバッグ・ヘルプアウトセットで大幅に改善した(+9.45\%)。

関連論文リスト

• Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
  3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)に顕著な効果を示した しかし、3DGSモデルはスパースポーズビューで訓練すると過度に適合する傾向にあり、その一般化能力は新規ビューに制限される。 オーバーフィッティング問題を緩和するために,Self-Ensembling Gaussian Splatting (SE-GS) アプローチを提案する。 提案手法は,NVSの品質向上に寄与し,既存の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2024-10-31T18:43:48Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
  サンプルが他者とどのように関連しているかを符号化する目的を開発する。 クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。 我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
  論文  参考訳（メタデータ） (2024-07-25T15:38:16Z)
• Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
  薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。 DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。 事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
  論文  参考訳（メタデータ） (2024-07-21T15:49:05Z)
• Filling Missing Values Matters for Range Image-Based Point Cloud Segmentation [12.62718910894575]
  ポイントクラウドセグメンテーション(PCS)は、ロボットの知覚とナビゲーションタスクにおいて重要な役割を果たす。 大規模屋外点雲を効率的に理解するために、その範囲画像表現が一般的である。 しかし、範囲画像の望ましくない欠落値は、物体の形状やパターンを損なう。 この問題は、オブジェクトからコヒーレントで完全な幾何学的情報を学ぶ際に、モデルにとって困難を生じさせる。
  論文  参考訳（メタデータ） (2024-05-16T15:13:42Z)
• ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
  我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。 このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。 我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
  論文  参考訳（メタデータ） (2024-03-27T17:23:39Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency Modeling [6.081082481356211]
  L_0$正規化によるディープニューラルネットワークのトレーニングは、ネットワークプルーニングやスパシフィケーションの顕著なアプローチのひとつだ。 本稿では,ImageNet上のResNet50のような大規模学習タスクに対して一貫性のない処理を行うことを示す。 本稿では,多層パーセプトロンとして効果的にモデル化できるバイナリゲートの依存性モデリングを提案する。
  論文  参考訳（メタデータ） (2021-06-30T19:33:35Z)
• Webly Supervised Image Classification with Self-Contained Confidence [36.87209906372911]
  本稿では,インターネットからサンプルをクロールし,検索クエリをWebラベルとして直接使用することにより,データセットを構築するウェブ教師あり学習(WSL)に焦点を当てる。 我々は、WSL設定にモデル不確実性を適用して自己完結信頼(SCC)を導入し、それをサンプル的に$mathcalL_s$と$mathcalL_w$のバランスをとるために使用します。 提案されたWSLフレームワークは、WebVision-1000とFood101-N. Codeの2つの大規模WSLデータセットに対して、最先端の結果を得た。
  論文  参考訳（メタデータ） (2020-08-27T02:49:51Z)
• Inner Ensemble Networks: Average Ensemble as an Effective Regularizer [20.33062212014075]
  内部アンサンブルネットワーク(IEN)は、モデル複雑性を増大させることなく、ニューラルネットワーク自体内の分散を減少させる。 IENは、トレーニングフェーズ中にアンサンブルパラメータを使用して、ネットワークのばらつきを低減する。
  論文  参考訳（メタデータ） (2020-06-15T11:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。