論文の概要: Out-of-distribution Detection and Generation using Soft Brownian Offset
Sampling and Autoencoders
- arxiv url: http://arxiv.org/abs/2105.02965v1
- Date: Tue, 4 May 2021 06:59:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 08:38:04.750553
- Title: Out-of-distribution Detection and Generation using Soft Brownian Offset
Sampling and Autoencoders
- Title（参考訳）: ソフトブラウンオフセットサンプリングとオートエンコーダを用いた分散検出と生成
- Authors: Felix M\"oller, Diego Botache, Denis Huseljic, Florian Heidecker,
Maarten Bieshaar and Bernhard Sick
- Abstract要約: ディープニューラルネットワークは、分散検出の改善によって部分的に修復される過信に苦しむことが多い。
本稿では,所定の分布内データセットに基づいて分散外データセットを生成できる新しい手法を提案する。
この新しいデータセットは、与えられたデータセットと機械学習タスクの配信外検出を改善するために使用できる。
- 参考スコア（独自算出の注目度）: 1.313418334200599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks often suffer from overconfidence which can be partly
remedied by improved out-of-distribution detection. For this purpose, we
propose a novel approach that allows for the generation of out-of-distribution
datasets based on a given in-distribution dataset. This new dataset can then be
used to improve out-of-distribution detection for the given dataset and machine
learning task at hand. The samples in this dataset are with respect to the
feature space close to the in-distribution dataset and therefore realistic and
plausible. Hence, this dataset can also be used to safeguard neural networks,
i.e., to validate the generalization performance. Our approach first generates
suitable representations of an in-distribution dataset using an autoencoder and
then transforms them using our novel proposed Soft Brownian Offset method.
After transformation, the decoder part of the autoencoder allows for the
generation of these implicit out-of-distribution samples. This newly generated
dataset then allows for mixing with other datasets and thus improved training
of an out-of-distribution classifier, increasing its performance.
Experimentally, we show that our approach is promising for time series using
synthetic data. Using our new method, we also show in a quantitative case study
that we can improve the out-of-distribution detection for the MNIST dataset.
Finally, we provide another case study on the synthetic generation of
out-of-distribution trajectories, which can be used to validate trajectory
prediction algorithms for automated driving.
- Abstract（参考訳）: ディープニューラルネットワークは、分散検出の改善によって部分的に修復される過信に苦しむことが多い。
そこで本研究では, 所定の分布内データセットに基づいて, 分布外データセットを生成できる新しい手法を提案する。
この新しいデータセットは、与えられたデータセットと機械学習タスクの配信外検出を改善するために使用できる。
このデータセットのサンプルは、分布内データセットに近い機能空間に関するものであり、したがって現実的で可視である。
したがって、このデータセットはニューラルネットワークの保護、すなわち一般化性能の検証にも使用することができる。
提案手法は,まずオートエンコーダを用いて分布内データセットの適切な表現を生成し,提案するソフトブラウンオフセット法を用いて変換する。
変換後、autoencoderのデコーダ部分は、これらの暗黙の分散サンプルを生成することができる。
この新たに生成されたデータセットは、他のデータセットと混在し、配布外分類器のトレーニングを改善し、パフォーマンスを向上させる。
実験により, 合成データを用いた時系列化が期待できることを示した。
また,本手法を用いることで,MNISTデータセットの分布外検出を改善することができることを示す。
最後に, 自動走行のための軌道予測アルゴリズムの検証に使用可能な, 分布外軌道の合成生成に関する別のケーススタディを提供する。
関連論文リスト
- Beyond the Known: Adversarial Autoencoders in Novelty Detection [2.7486022583843233]
新規性検出では、新しいデータポイントをinlierまたはoutlierに分類するかどうかを判断する。
我々は類似のフレームワークを軽量なディープネットワークで使用し、再構成誤差を伴う確率的スコアを採用する。
その結果,本手法は対象クラスを学習する上で有効であることが示唆され,いくつかのベンチマークデータセット上での最近の最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2024-04-06T00:04:19Z) - Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - Open-Sampling: Exploring Out-of-Distribution data for Re-balancing
Long-tailed datasets [24.551465814633325]
深層ニューラルネットワークは通常、トレーニングデータセットが極端なクラス不均衡に苦しむ場合、パフォーマンスが良くない。
近年の研究では、半教師付き方式でアウト・オブ・ディストリビューションデータによる直接トレーニングが一般化性能を損なうことが報告されている。
そこで我々は,オープンセットノイズラベルを用いて学習データセットのクラス前のバランスを再調整する,オープンサンプリングと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-06-17T14:29:52Z) - Learning by Erasing: Conditional Entropy based Transferable Out-Of-Distribution Detection [17.31471594748061]
トレーニングとテストシナリオ間の分散シフトを処理するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
既存の方法は、データセット固有の特徴表現やデータ分散をキャプチャするために、再トレーニングを必要とする。
我々は,新しいIDデータセットで再トレーニングする必要がない,DGMに基づく転送可能なOOD検出手法を提案する。
論文 参考訳（メタデータ） (2022-04-23T10:19:58Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳（メタデータ） (2021-02-09T20:28:35Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z) - Domain Adaptive Bootstrap Aggregating [5.444459446244819]
ブートストラップ集約(英: bootstrap aggregating)は、予測アルゴリズムの安定性を改善する一般的な方法である。
本稿では, ドメイン適応型バッグング手法と, 隣り合う新しい反復型サンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-01-12T20:02:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。