論文の概要: Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets
- arxiv url: http://arxiv.org/abs/2405.16082v1
- Date: Sat, 25 May 2024 06:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 01:10:08.045500
- Title: Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets
- Title（参考訳）: 学習セットの凸重みに基づく深層学習システムの不確実性測定
- Authors: Hyekyoung Hwang, Jitae Shin,
- Abstract要約: 本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。
学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
- 参考スコア（独自算出の注目度）: 0.13265175299265505
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep Learning (DL) has made remarkable achievements in computer vision and adopted in safety critical domains such as medical imaging or autonomous drive. Thus, it is necessary to understand the uncertainty of the model to effectively reduce accidents and losses due to misjudgment of the Deep Neural Networks (DNN). This can start by efficiently selecting data that could potentially malfunction to the model. Traditionally, data collection and labeling have been done manually, but recently test data selection methods have emerged that focus on capturing samples that are not relevant to what the model had been learned. They're selected based on the activation pattern of neurons in DNN, entropy minimization based on softmax output of the DL. However, these methods cannot quantitatively analyze the extent to which unseen samples are extrapolated from the training data. Therefore, we propose To-hull Uncertainty and Closure Ratio, which measures an uncertainty of trained model based on the convex hull of training data. It can observe the positional relation between the convex hull of the learned data and an unseen sample and infer how extrapolate the sample is from the convex hull. To evaluate the proposed method, we conduct empirical studies on popular datasets and DNN models, compared to state-of-the art test selection metrics. As a result of the experiment, the proposed To-hull Uncertainty is effective in finding samples with unusual patterns (e.g. adversarial attack) compared to the existing test selection metric.
- Abstract（参考訳）: 深層学習(DL)はコンピュータビジョンにおいて顕著な成果を上げ、医療画像や自律運転などの安全上の重要な領域に採用されている。
したがって,Deep Neural Networks (DNN) の誤認による事故や損失を効果的に低減するためには,モデルの不確実性を理解する必要がある。
これは、モデルに誤動作する可能性のあるデータを効率的に選択することから始めることができる。
伝統的に、データ収集とラベリングは手作業で行われているが、最近、モデルが何を学んだかに関係のないサンプルをキャプチャすることに焦点を当てたテストデータ選択方法が出現している。
DNNのニューロンの活性化パターンに基づいて選択され、DLのソフトマックス出力に基づいてエントロピー最小化される。
しかし、これらの手法は、トレーニングデータから見知らぬサンプルが外挿される程度を定量的に分析することはできない。
そこで本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。
学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
提案手法を評価するため,一般的なデータセットとDNNモデルについて,最先端の試験選択指標と比較した実験的検討を行った。
実験の結果,提案したTo-hull Uncertaintyは,既存の試験選択基準と比較して異常なパターン(例えば逆攻撃)のサンプルを見つけるのに有効であることがわかった。
関連論文リスト
- Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation [9.950524371154394]
本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。
提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
論文 参考訳（メタデータ） (2024-06-05T11:30:16Z) - Hypothesis-Driven Deep Learning for Out of Distribution Detection [0.8191518216608217]
本稿では,新しいサンプルがInDなのかOoDなのかを定量化する仮説駆動型手法を提案する。
細菌のサンプルを学習した深層学習モデルに適応させ,InDとOoDの潜伏反応の解釈的差異を明らかにする。
論文 参考訳（メタデータ） (2024-03-21T01:06:47Z) - Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Continual Test-time Domain Adaptation via Dynamic Sample Selection [38.82346845855512]
本稿では,連続テスト時間領域適応(CTDA)のための動的サンプル選択法を提案する。
誤情報を誤用するリスクを低減するため,高品質と低品質の両方のサンプルに共同正負の学習を適用した。
私たちのアプローチは3Dポイントのクラウドドメインでも評価されており、その汎用性とより広範な適用可能性を示している。
論文 参考訳（メタデータ） (2023-10-05T06:35:21Z) - Optimal Sample Selection Through Uncertainty Estimation and Its
Application in Deep Learning [22.410220040736235]
コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。
提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
論文 参考訳（メタデータ） (2023-09-05T14:06:33Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-21T09:07:15Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2021-03-06T19:30:32Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - Dropout Strikes Back: Improved Uncertainty Estimation via Diversity
Sampling [3.077929914199468]
ニューラルネットワークにおけるドロップアウト層に対するサンプリング分布の変更により,不確実性評価の品質が向上することを示す。
主要なアイデアは、ニューロン間のデータ駆動相関を計算し、最大多様なニューロンを含むサンプルを生成する、という2つの主要なステップで構成されています。
論文 参考訳（メタデータ） (2020-03-06T15:20:04Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。