論文の概要: Generalizing Neural Networks by Reflecting Deviating Data in Production
- arxiv url: http://arxiv.org/abs/2110.02718v1
- Date: Wed, 6 Oct 2021 13:05:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-07 23:19:52.187830
- Title: Generalizing Neural Networks by Reflecting Deviating Data in Production
- Title（参考訳）: 生産における逸脱データの反映によるニューラルネットワークの一般化
- Authors: Yan Xiao and Yun Lin and Ivan Beschastnikh and Changsheng Sun and
David S. Rosenblum and Jin Song Dong
- Abstract要約: 本稿では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。
我々は,シームズネットワークが学習した距離測定値に基づく分布解析器を用いて,意味的に保存されていない入力を識別する。
我々のアプローチは、これらの予期せぬ入力を、類似のセマンティクスを持つと認識されるトレーニングセットから入力に変換する。
- 参考スコア（独自算出の注目度）: 15.498447555957773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Trained with a sufficiently large training and testing dataset, Deep Neural
Networks (DNNs) are expected to generalize. However, inputs may deviate from
the training dataset distribution in real deployments. This is a fundamental
issue with using a finite dataset. Even worse, real inputs may change over time
from the expected distribution. Taken together, these issues may lead deployed
DNNs to mis-predict in production.
In this work, we present a runtime approach that mitigates DNN
mis-predictions caused by the unexpected runtime inputs to the DNN. In contrast
to previous work that considers the structure and parameters of the DNN itself,
our approach treats the DNN as a blackbox and focuses on the inputs to the DNN.
Our approach has two steps. First, it recognizes and distinguishes "unseen"
semantically-preserving inputs. For this we use a distribution analyzer based
on the distance metric learned by a Siamese network. Second, our approach
transforms those unexpected inputs into inputs from the training set that are
identified as having similar semantics. We call this process input reflection
and formulate it as a search problem over the embedding space on the training
set. This embedding space is learned by a Quadruplet network as an auxiliary
model for the subject model to improve the generalization.
We implemented a tool called InputReflector based on the above two-step
approach and evaluated it with experiments on three DNN models trained on
CIFAR-10, MNIST, and FMINST image datasets. The results show that
InputReflector can effectively distinguish inputs that retain semantics of the
distribution (e.g., blurred, brightened, contrasted, and zoomed images) and
out-of-distribution inputs from normal inputs.
- Abstract（参考訳）: 十分に大規模なトレーニングとテストデータセットでトレーニングされたDeep Neural Networks(DNN)は、一般化が期待される。
しかし、インプットは実際のデプロイメントにおけるトレーニングデータセットの分散から逸脱する可能性がある。
これは有限データセットを使用する際の根本的な問題である。
さらに悪いことに、実際の入力は期待される分布から時間とともに変化する可能性がある。
総合すると、これらの問題はdnnを運用中の誤予測に導く可能性がある。
本研究では,DNNに対する予期せぬ実行時入力によるDNNの誤予測を緩和する実行時アプローチを提案する。
DNNの構造とパラメータを考察する以前の研究とは対照的に,本手法ではDNNをブラックボックスとして扱い,DNNへの入力に焦点を当てている。
私たちのアプローチには2つのステップがあります。
まず、意味的に保存される入力を認識し、区別する。
このため、シャムネットワークで学習された距離メトリックに基づく分布分析器を用いる。
第2に,これらの予期せぬ入力を,同様の意味を持つと認識されたトレーニングセットから入力に変換する。
我々はこのプロセスを入力反射と呼び、トレーニングセット上の埋め込み空間上の探索問題として定式化する。
この埋め込み空間は、一般化を改善するために対象モデルの補助モデルとして四重項ネットワークによって学習される。
上記の2段階のアプローチに基づいて,inceptreflectorと呼ばれるツールを実装し,cifar-10,mnist,fminst画像データセットで学習した3つのdnnモデルを用いて評価を行った。
その結果、InputReflectorは、分布のセマンティクスを保持する入力(例えば、ぼやけた、明るくなった、コントラストのある、ズームされた画像)と通常の入力からのアウト・オブ・ディストリビューション入力を効果的に区別できることがわかった。
関連論文リスト
- Use of Parallel Explanatory Models to Enhance Transparency of Neural Network Configurations for Cell Degradation Detection [18.214293024118145]
我々は,ニューラルネットワークの内部動作を照らし,理解するための並列モデルを構築している。
RNNの各層が入力分布を変換して検出精度を高める方法を示す。
同時に、精度の向上を制限するために作用する副作用も発見する。
論文 参考訳（メタデータ） (2024-04-17T12:22:54Z) - Deep Networks Always Grok and Here is Why [15.327649172531606]
グローキング(英: Grokking)または遅延一般化(英: delay generalization)とは、ディープニューラルネットワーク(DNN)における一般化が、ほぼゼロのトレーニングエラーを達成してから長く経過する現象である。
我々は、グルーキングが実際ずっと広く、幅広い実践的な設定で実現されていることを実証した。
論文 参考訳（メタデータ） (2024-02-23T18:59:31Z) - Inferring Data Preconditions from Deep Learning Models for Trustworthy
Prediction in Deployment [25.527665632625627]
デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。
従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。
本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-26T03:47:18Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks [29.975937981538664]
我々は、エンドユーザーがモデルを変更することなく、独自のテスト環境で事前訓練されたDNNモデルを活用できる新しいアプローチを導入する。
テストデータの分布をトレーニングデータと整合させる追加入力であるtextitmeta 入力を提案する。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
論文 参考訳（メタデータ） (2022-10-21T02:11:38Z) - Invertible Neural Networks for Graph Prediction [22.140275054568985]
本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。
私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
論文 参考訳（メタデータ） (2022-06-02T17:28:33Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳（メタデータ） (2021-05-30T22:07:13Z) - A Survey on Assessing the Generalization Envelope of Deep Neural
Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。
入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。
本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文 参考訳（メタデータ） (2020-08-21T09:12:52Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。