Fugu-MT 論文翻訳(概要): Verifying Generalization in Deep Learning

論文の概要: Verifying Generalization in Deep Learning

arxiv url: http://arxiv.org/abs/2302.05745v1
Date: Sat, 11 Feb 2023 17:08:15 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 18:53:25.073555
Title: Verifying Generalization in Deep Learning
Title（参考訳）: ディープラーニングにおける一般化の検証
Authors: Guy Amir, Osher Maayan, Tom Zelazny, Guy Katz and Michael Schapira
Abstract要約: ディープニューラルネットワーク(Deep Neural Network, DNN)は、ディープラーニングのワークホースである。 DNNは、一般化の貧弱さ、すなわち訓練中に遭遇しない入力が不十分であることを示すことが知られている。本稿では,新しい入力領域によく適応するDNNに基づく決定ルールを識別するための,検証駆動型手法を提案する。
参考スコア（独自算出の注目度）: 3.4948705785954917
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks (DNNs) are the workhorses of deep learning, which constitutes the state of the art in numerous application domains. However, DNN-based decision rules are notoriously prone to poor generalization, i.e., may prove inadequate on inputs not encountered during training. This limitation poses a significant obstacle to employing deep learning for mission-critical tasks, and also in real-world environments that exhibit high variability. We propose a novel, verification-driven methodology for identifying DNN-based decision rules that generalize well to new input domains. Our approach quantifies generalization to an input domain by the extent to which decisions reached by independently trained DNNs are in agreement for inputs in this domain. We show how, by harnessing the power of DNN verification, our approach can be efficiently and effectively realized. We evaluate our verification-based approach on three deep reinforcement learning (DRL) benchmarks, including a system for real-world Internet congestion control. Our results establish the usefulness of our approach, and, in particular, its superiority over gradient-based methods. More broadly, our work puts forth a novel objective for formal verification, with the potential for mitigating the risks associated with deploying DNN-based systems in the wild.
Abstract（参考訳）: ディープニューラルネットワーク(dnn)は、ディープラーニングのワークホースであり、多くのアプリケーションドメインにおける最先端の技術を構成する。しかし、DNNに基づく決定規則は、一般化の貧弱さ、すなわちトレーニング中に遭遇しない入力が不十分であることを示すことが知られている。この制限は、ミッションクリティカルなタスクや、高い可変性を示す実環境において、ディープラーニングを採用する上で大きな障害となる。本稿では,新しい入力領域によく適応するDNNに基づく決定ルールを識別するための,検証駆動型手法を提案する。本手法は,独立に訓練されたDNNが入力に対してどのような決定を下すかによって,入力領域への一般化を定量化する。 DNN検証の力を利用して、我々のアプローチを効率的に効果的に実現できることを示す。実世界のインターネット混雑制御システムを含む3つの深層強化学習(DRL)ベンチマークに対する検証に基づくアプローチを評価する。以上の結果から,本手法の有用性,特に勾配法よりも優れていることが判明した。より広範に、我々の研究は、DNNベースのシステムを野生に展開する際のリスクを軽減するために、新たな形式検証の目標を掲げています。

関連論文リスト

Verifying the Generalization of Deep Learning to Out-of-Distribution Domains [1.5774380628229037]
ディープニューラルネットワーク(DNN)は、機械学習の分野において重要な役割を果たす。 DNNは時折、一般化に伴う課題、すなわち訓練中に遭遇しなかった入力を処理できなくなることがある。この制限は、セーフティクリティカルなタスクにディープラーニングをデプロイする上で、重要な課題である。
論文参考訳（メタデータ） (2024-06-04T07:02:59Z)
DeepKnowledge: Generalisation-Driven Deep Learning Testing [2.526146573337397]
DeepKnowledgeは、DNNベースのシステムの体系的なテスト手法である。堅牢性を高め、'ブラックボックス'モデルの残留リスクを低減することを目的としている。本報告では, 対人攻撃検出のための最先端のサーベイ基準に対して, 最大10ポイントの改善を報告した。
論文参考訳（メタデータ） (2024-03-25T13:46:09Z)
Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文参考訳（メタデータ） (2024-02-20T22:34:53Z)
Enumerating Safe Regions in Deep Neural Networks with Provable Probabilistic Guarantees [86.1362094580439]
安全プロパティとDNNが与えられた場合、安全であるプロパティ入力領域のすべての領域の集合を列挙する。この問題の #P-hardness のため,epsilon-ProVe と呼ばれる効率的な近似法を提案する。提案手法は, 許容限界の統計的予測により得られた出力可到達集合の制御可能な過小評価を利用する。
論文参考訳（メタデータ） (2023-08-18T22:30:35Z)
Enhancing Deep Learning with Scenario-Based Override Rules: a Case Study [0.0]
ディープニューラルネットワーク(DNN)は、ソフトウェア開発ツールキットにおいて重要な手段となっている。 DNNは非常に不透明で、不慣れな入力に遭遇すると予期せぬ振る舞いをする。 1つの有望なアプローチは、手作りのオーバーライドルールでDNNベースのシステムを拡張することである。
論文参考訳（メタデータ） (2023-01-19T15:06:32Z)
The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。違反の正確な数を返す新しい手法を提案する。安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文参考訳（メタデータ） (2023-01-17T18:32:01Z)
Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文参考訳（メタデータ） (2022-11-29T13:32:38Z)
Taming Reachability Analysis of DNN-Controlled Systems via Abstraction-Based Training [14.787056022080625]
本稿では, 到達可能性解析における過剰近似DNNの欠如を回避するための, 抽象的アプローチを提案する。我々は、実数をトレーニングの間隔に抽象化する抽象層を挿入することで、従来のDNNを拡張した。我々は、DNN制御システムに対する最初のブラックボックス到達可能性分析手法を考案し、訓練されたDNNは抽象状態に対するアクションのためのブラックボックスオラクルとしてのみクエリされる。
論文参考訳（メタデータ） (2022-11-21T00:11:50Z)
Neuron Coverage-Guided Domain Generalization [37.77033512313927]
本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
論文参考訳（メタデータ） (2021-02-27T14:26:53Z)
A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文参考訳（メタデータ） (2020-08-21T09:12:52Z)
Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文参考訳（メタデータ） (2020-06-30T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。