論文の概要: Computing the Testing Error without a Testing Set
- arxiv url: http://arxiv.org/abs/2005.00450v1
- Date: Fri, 1 May 2020 15:35:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 00:13:24.109959
- Title: Computing the Testing Error without a Testing Set
- Title（参考訳）: テストセットなしでテストエラーを計算する
- Authors: Ciprian Corneanu, Meysam Madadi, Sergio Escalera, Aleix Martinez
- Abstract要約: テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。
これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
- 参考スコア（独自算出の注目度）: 33.068870286618655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have revolutionized computer vision. We now have
DNNs that achieve top (performance) results in many problems, including object
recognition, facial expression analysis, and semantic segmentation, to name but
a few. The design of the DNNs that achieve top results is, however, non-trivial
and mostly done by trail-and-error. That is, typically, researchers will derive
many DNN architectures (i.e., topologies) and then test them on multiple
datasets. However, there are no guarantees that the selected DNN will perform
well in the real world. One can use a testing set to estimate the performance
gap between the training and testing sets, but avoiding
overfitting-to-the-testing-data is almost impossible. Using a sequestered
testing dataset may address this problem, but this requires a constant update
of the dataset, a very expensive venture. Here, we derive an algorithm to
estimate the performance gap between training and testing that does not require
any testing dataset. Specifically, we derive a number of persistent topology
measures that identify when a DNN is learning to generalize to unseen samples.
This allows us to compute the DNN's testing error on unseen samples, even when
we do not have access to them. We provide extensive experimental validation on
multiple networks and datasets to demonstrate the feasibility of the proposed
approach.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)はコンピュータビジョンに革命をもたらした。
現在、オブジェクト認識、表情分析、セマンティックセグメンテーションなど、最高の(パフォーマンス)結果を達成するDNNがいくつかありますが、いくつかあります。
しかし、上位結果を達成するDNNの設計は、非自明で、ほとんどは後続とエラーによって行われる。
つまり、研究者は多くのDNNアーキテクチャ(トポロジ)を導き、複数のデータセットでそれらをテストする。
しかし、選択したDNNが現実世界でうまく機能する保証はない。
テストセットを使用してトレーニングとテストセットのパフォーマンスギャップを見積もることができるが、テストデータへの過度な適合を避けることはほとんど不可能である。
分離テストデータセットを使用するとこの問題に対処できるが、これは非常に高価なベンチャーであるデータセットを常に更新する必要がある。
ここでは,テストデータセットを必要としないトレーニングとテスト間のパフォーマンスギャップを推定するアルゴリズムを導出する。
具体的には、DNNが未知のサンプルに一般化することを学んでいることを識別する、永続的なトポロジー尺度を多数導出する。
これにより、たとえそれらにアクセスできない場合でも、未発見のサンプルでdnnのテストエラーを計算できます。
本稿では,提案手法の実現可能性を示すために,複数ネットワークとデータセットの広範な実験検証を行う。
関連論文リスト
- DeepSample: DNN sampling-based testing for operational accuracy assessment [12.029919627622954]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、多くのソフトウェアシステムの分類および回帰タスクのコアコンポーネントである。
課題は、ラベリングコストを減らすために、可能な限り小さなテスト入力の代表的なセットを選択することである。
本研究では,費用対効果評価のためのDNNテスト技術のファミリーであるDeepSampleについて述べる。
論文 参考訳（メタデータ） (2024-03-28T09:56:26Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - DeepGD: A Multi-Objective Black-Box Test Selection Approach for Deep
Neural Networks [0.6249768559720121]
DeepGDはディープニューラルネットワーク(DNN)のためのブラックボックス多目的テスト選択アプローチ
大規模なラベル付けされていないデータセットから高い障害を露呈するパワーでテスト入力の選択を優先順位付けすることで、ラベル付けのコストを低減します。
論文 参考訳（メタデータ） (2023-03-08T20:33:09Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks [29.975937981538664]
我々は、エンドユーザーがモデルを変更することなく、独自のテスト環境で事前訓練されたDNNモデルを活用できる新しいアプローチを導入する。
テストデータの分布をトレーニングデータと整合させる追加入力であるtextitmeta 入力を提案する。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
論文 参考訳（メタデータ） (2022-10-21T02:11:38Z) - Reducing Flipping Errors in Deep Neural Networks [39.24451665215755]
ディープニューラルネットワーク(DNN)は、人工知能の様々な領域に広く応用されている。
本報告では,DNNが最終時代において誤って分類した検体(未確認検体)が,どの程度の精度で正しく分類されたかについて検討する。
本稿では, DNN の動作変化を, 適切な局所境界を維持するために, 正しく分類されたサンプル上での動作変化を制限することを提案する。
論文 参考訳（メタデータ） (2022-03-16T04:38:06Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳（メタデータ） (2021-08-02T18:00:38Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳（メタデータ） (2020-08-22T12:28:35Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。