論文の概要: TrustGAN: Training safe and trustworthy deep learning models through
generative adversarial networks
- arxiv url: http://arxiv.org/abs/2211.13991v1
- Date: Fri, 25 Nov 2022 09:57:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 15:23:50.429697
- Title: TrustGAN: Training safe and trustworthy deep learning models through
generative adversarial networks
- Title（参考訳）: TrustGAN: 生成的敵ネットワークによる安全で信頼性の高いディープラーニングモデルのトレーニング
- Authors: H\'elion du Mas des Bourboux
- Abstract要約: 信頼度を目標とした生成逆ネットワークパイプラインであるTrustGANを提案する。
パイプラインは、予測とこの予測に対する信頼を出力する任意のディープラーニングモデルを受け入れることができる。
ここでは、MNISTデータに基づいて訓練されたターゲット分類モデルに適用し、画像に基づいて数値を認識する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models have been developed for a variety of tasks and are
deployed every day to work in real conditions. Some of these tasks are critical
and models need to be trusted and safe, e.g. military communications or cancer
diagnosis. These models are given real data, simulated data or combination of
both and are trained to be highly predictive on them. However, gathering enough
real data or simulating them to be representative of all the real conditions
is: costly, sometimes impossible due to confidentiality and most of the time
impossible. Indeed, real conditions are constantly changing and sometimes are
intractable. A solution is to deploy machine learning models that are able to
give predictions when they are confident enough otherwise raise a flag or
abstain. One issue is that standard models easily fail at detecting
out-of-distribution samples where their predictions are unreliable.
We present here TrustGAN, a generative adversarial network pipeline targeting
trustness. It is a deep learning pipeline which improves a target model
estimation of the confidence without impacting its predictive power. The
pipeline can accept any given deep learning model which outputs a prediction
and a confidence on this prediction. Moreover, the pipeline does not need to
modify this target model. It can thus be easily deployed in a MLOps (Machine
Learning Operations) setting.
The pipeline is applied here to a target classification model trained on
MNIST data to recognise numbers based on images. We compare such a model when
trained in the standard way and with TrustGAN. We show that on
out-of-distribution samples, here FashionMNIST and CIFAR10, the estimated
confidence is largely reduced. We observe similar conclusions for a
classification model trained on 1D radio signals from AugMod, tested on
RML2016.04C. We also publicly release the code.
- Abstract（参考訳）: ディープラーニングモデルはさまざまなタスクのために開発されており、実環境で動作するために毎日デプロイされている。
これらのタスクのいくつかは重要であり、例えば軍事通信や癌診断など、モデルは信頼と安全が必要である。
これらのモデルには、実際のデータ、シミュレーションデータ、あるいは両者の組み合わせが与えられ、予測性が高いように訓練される。
しかし、十分な実際のデータを集めたり、実際のすべての条件をシミュレートしたりすることは、コストがかかり、機密性のため、場合によっては不可能である。
実際、現実の状況は常に変化しており、時には難解である。
解決策は、十分な自信が持てば、フラグを上げたり、あるいは放棄したりできるような、マシンラーニングモデルをデプロイすることです。
問題の一つは、標準モデルが、その予測が信頼できない分散サンプルを検出するのに簡単に失敗することである。
本稿では,信頼度をターゲットとした生成的敵ネットワークパイプラインであるTrustGANを紹介する。
予測能力に影響を与えることなく、信頼性のターゲットモデル推定を改善する深層学習パイプラインである。
パイプラインは、予測とこの予測に対する信頼を出力する任意のディープラーニングモデルを受け入れることができる。
さらに、パイプラインはこのターゲットモデルを変更する必要はない。
これにより、MLOps(Machine Learning Operations)設定で簡単にデプロイできる。
パイプラインは、MNISTデータに基づいて訓練されたターゲット分類モデルに適用され、画像に基づいて番号を認識する。
このようなモデルを標準的にトレーニングした場合とTrustGANと比較する。
FashionMNIST と CIFAR10 の分布外サンプルでは,推定信頼度が大きく低下している。
RML2016.04Cで試験されたAugModの1D無線信号に基づいて訓練された分類モデルについても同様の結論が得られた。
コードも公開しています。
関連論文リスト
- Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction [4.856998175951948]
本研究では,共形予測アルゴリズムが深層学習モデルの不確かさと関係があることを示し,この関係が深層学習モデルが校正外であるかどうかを検出するのに有効であることを示す。
モデル不確かさと共形予測セットの平均サイズに関連する校正外検出手順を示す。
論文 参考訳（メタデータ） (2024-05-04T11:05:52Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳（メタデータ） (2023-02-17T18:45:04Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated
Learning [77.27443885999404]
Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。
本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:30:16Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - How to Learn when Data Gradually Reacts to Your Model [10.074466859579571]
我々は,これらの効果が存在する場合でも,性能損失を最小限に抑えるための新しいアルゴリズム Stateful Performative Gradient Descent (Stateful PerfGD) を提案する。
実験の結果, Stateful PerfGD は従来の最先端手法よりもかなり優れていたことが確認された。
論文 参考訳（メタデータ） (2021-12-13T22:05:26Z) - Do Not Trust Prediction Scores for Membership Inference Attacks [15.567057178736402]
メンバーシップ推論攻撃(MIA)は、特定のサンプルが予測モデルのトレーニングに使用されたかどうかを判断することを目的としている。
これは、多くの現代のディープネットワークアーキテクチャにとって誤りである、と我々は主張する。
トレーニングデータの一部として誤って分類された、潜在的に無限のサンプルを生成できるのです。
論文 参考訳（メタデータ） (2021-11-17T12:39:04Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。