論文の概要: Distilling Model Failures as Directions in Latent Space
- arxiv url: http://arxiv.org/abs/2206.14754v1
- Date: Wed, 29 Jun 2022 16:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-30 21:09:28.916101
- Title: Distilling Model Failures as Directions in Latent Space
- Title(参考訳): 潜在空間における蒸留モデル障害の方向
- Authors: Saachi Jain, Hannah Lawrence, Ankur Moitra, Aleksander Madry
- Abstract要約: 本稿では,モデルの故障モードを自動的に抽出するスケーラブルな方法を提案する。
線形分類器を用いて一貫したエラーパターンを識別し、これらの障害モードを特徴空間内の方向として自然な表現を誘導する。
このフレームワークにより、トレーニングデータセット内の課題のあるサブポピュレーションを発見し、自動的にキャプションし、これらのサブポピュレーションにおけるモデルのパフォーマンスを改善することができることを示す。
- 参考スコア(独自算出の注目度): 87.30726685335098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing methods for isolating hard subpopulations and spurious correlations
in datasets often require human intervention. This can make these methods
labor-intensive and dataset-specific. To address these shortcomings, we present
a scalable method for automatically distilling a model's failure modes.
Specifically, we harness linear classifiers to identify consistent error
patterns, and, in turn, induce a natural representation of these failure modes
as directions within the feature space. We demonstrate that this framework
allows us to discover and automatically caption challenging subpopulations
within the training dataset, and intervene to improve the model's performance
on these subpopulations. Code available at
https://github.com/MadryLab/failure-directions
- Abstract(参考訳): データセットにおけるハードサブポピュレーションとスプリアス相関を分離する既存の方法は、しばしば人間の介入を必要とする。
これにより、これらのメソッドは、労働集約的かつデータセットに特化することができる。
そこで本研究では,モデルの故障モードを自動的に蒸留するスケーラブルな手法を提案する。
具体的には、線形分類器を用いて一貫したエラーパターンを識別し、特徴空間内の方向としてこれらの障害モードの自然な表現を誘導する。
このフレームワークにより、トレーニングデータセット内の課題のあるサブポピュレーションを発見し、自動的にキャプションし、これらのサブポピュレーションにおけるモデルのパフォーマンスを改善することができることを示す。
https://github.com/MadryLab/failure-directionsで利用可能なコード
関連論文リスト
- Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。
単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。
我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
論文 参考訳(メタデータ) (2024-03-04T19:38:50Z) - Phantom Embeddings: Using Embedding Space for Model Regularization in
Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。
複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。
情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-14T17:15:54Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - UDIS: Unsupervised Discovery of Bias in Deep Visual Recognition Models [14.086066389856173]
深層学習モデルは、あるサブ集団の体系的な失敗につながることがあるデータから急激な相関を学習することが示されている。
本稿では,このような障害モードを解析・監視するための教師なしアルゴリズムUDISを提案する。
CelebA と MSCOCO データセット上で画像分類を訓練したモデルにおいて,UDIS による故障モードの同定の有効性を示す。
論文 参考訳(メタデータ) (2021-10-29T02:36:37Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - Understanding the Failure Modes of Out-of-Distribution Generalization [40.83290846983708]
経験的研究は、機械学習モデルは、トレーニング時間にのみラベルと急激な相関関係を持つ可能性のある背景のような特徴にしばしば依存していることを示唆している。
本研究は,学習が容易なタスクにおいても,モデルがこのように失敗する理由を説明することによって,この行動を引き起こす基本的な要因を同定する。
論文 参考訳(メタデータ) (2020-10-29T17:19:03Z) - BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。
既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。
この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
論文 参考訳(メタデータ) (2020-08-11T17:04:47Z) - not-MIWAE: Deep Generative Modelling with Missing not at Random Data [21.977065542645082]
本稿では、欠落したプロセスが欠落したデータに依存している場合に、DLVM(Deep Latent variable Model)を構築し、適合させるアプローチを提案する。
具体的には、深層ニューラルネットワークにより、データから得られる欠損パターンの条件分布を柔軟にモデル化することができる。
欠落したプロセスを明示的にモデル化する様々なデータセットと欠落パターンが有用であることを示す。
論文 参考訳(メタデータ) (2020-06-23T10:06:21Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。