論文の概要: Verifying the Generalization of Deep Learning to Out-of-Distribution Domains
- arxiv url: http://arxiv.org/abs/2406.02024v3
- Date: Sun, 30 Jun 2024 07:44:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-02 13:40:49.097670
- Title: Verifying the Generalization of Deep Learning to Out-of-Distribution Domains
- Title（参考訳）: ディープ・ラーニングのアウト・オブ・ディストリビューション領域への一般化の検証
- Authors: Guy Amir, Osher Maayan, Tom Zelazny, Guy Katz, Michael Schapira,
- Abstract要約: ディープニューラルネットワーク(DNN)は、機械学習の分野において重要な役割を果たす。
DNNは時折、一般化に伴う課題、すなわち訓練中に遭遇しなかった入力を処理できなくなることがある。
この制限は、セーフティクリティカルなタスクにディープラーニングをデプロイする上で、重要な課題である。
- 参考スコア（独自算出の注目度）: 1.5774380628229037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) play a crucial role in the field of machine learning, demonstrating state-of-the-art performance across various application domains. However, despite their success, DNN-based models may occasionally exhibit challenges with generalization, i.e., may fail to handle inputs that were not encountered during training. This limitation is a significant challenge when it comes to deploying deep learning for safety-critical tasks, as well as in real-world settings characterized by substantial variability. We introduce a novel approach for harnessing DNN verification technology to identify DNN-driven decision rules that exhibit robust generalization to previously unencountered input domains. Our method assesses generalization within an input domain by measuring the level of agreement between independently trained deep neural networks for inputs in this domain. We also efficiently realize our approach by using off-the-shelf DNN verification engines, and extensively evaluate it on both supervised and unsupervised DNN benchmarks, including a deep reinforcement learning (DRL) system for Internet congestion control -- demonstrating the applicability of our approach for real-world settings. Moreover, our research introduces a fresh objective for formal verification, offering the prospect of mitigating the challenges linked to deploying DNN-driven systems in real-world scenarios.
- Abstract（参考訳）: ディープラーニング(Deep Neural Network, DNN)は、機械学習の分野において重要な役割を担い、さまざまなアプリケーションドメインにわたる最先端のパフォーマンスを示す。
しかし、その成功にもかかわらず、DNNベースのモデルは時折一般化の難しさを示すことがある。
この制限は、安全なクリティカルなタスクのためのディープラーニングをデプロイする上で、大きな課題になります。
本稿では,DNN による決定ルールを識別するために,DNN 検証技術を活用する新しい手法を提案する。
本手法は,この領域における入力に対して,独立に訓練された深層ニューラルネットワーク間の一致度を測定することにより,入力領域内の一般化を評価する。
また、市販のDNN検証エンジンを用いて、我々のアプローチを効率よく実現し、インターネット混雑制御のための深層強化学習(DRL)システムを含む教師付きおよび教師なしのDNNベンチマークでこれを広範囲に評価し、我々のアプローチを実世界の設定に適用可能であることを示す。
さらに,本研究では,実世界のシナリオにおけるDNN駆動システムの展開に伴う課題を軽減し,形式検証の新たな目標を提案する。
関連論文リスト
- A Survey of Graph Neural Networks in Real world: Imbalance, Noise,
Privacy and OOD Challenges [75.37448213291668]
本稿では,既存のグラフニューラルネットワーク(GNN)を体系的にレビューする。
まず、既存のGNNが直面している4つの重要な課題を強調し、現実のGNNモデルを探究する道を開く。
論文 参考訳（メタデータ） (2024-03-07T13:10:37Z) - Verifying Generalization in Deep Learning [3.4948705785954917]
ディープニューラルネットワーク(Deep Neural Network, DNN)は、ディープラーニングのワークホースである。
DNNは、一般化の貧弱さ、すなわち訓練中に遭遇しない入力が不十分であることを示すことが知られている。
本稿では,新しい入力領域によく適応するDNNに基づく決定ルールを識別するための,検証駆動型手法を提案する。
論文 参考訳（メタデータ） (2023-02-11T17:08:15Z) - Enhancing Deep Learning with Scenario-Based Override Rules: a Case Study [0.0]
ディープニューラルネットワーク(DNN)は、ソフトウェア開発ツールキットにおいて重要な手段となっている。
DNNは非常に不透明で、不慣れな入力に遭遇すると予期せぬ振る舞いをする。
1つの有望なアプローチは、手作りのオーバーライドルールでDNNベースのシステムを拡張することである。
論文 参考訳（メタデータ） (2023-01-19T15:06:32Z) - gRoMA: a Tool for Measuring the Global Robustness of Deep Neural
Networks [3.2228025627337864]
ディープニューラルネットワーク(DNN)は最先端技術の最前線にあり、さまざまな複雑なタスクにおいて顕著なパフォーマンスを実現している。
航空宇宙分野や自動車分野などの安全クリティカルシステムへの統合は、敵の入力の脅威のために大きな課題となる。
本稿では,DNNのグローバルな分類的ロバスト性を測定するための確率論的アプローチを実装した,革新的でスケーラブルなツールであるgRoMAを紹介する。
論文 参考訳（メタデータ） (2023-01-05T20:45:23Z) - Taming Reachability Analysis of DNN-Controlled Systems via
Abstraction-Based Training [14.787056022080625]
本稿では, 到達可能性解析における過剰近似DNNの欠如を回避するための, 抽象的アプローチを提案する。
我々は、実数をトレーニングの間隔に抽象化する抽象層を挿入することで、従来のDNNを拡張した。
我々は、DNN制御システムに対する最初のブラックボックス到達可能性分析手法を考案し、訓練されたDNNは抽象状態に対するアクションのためのブラックボックスオラクルとしてのみクエリされる。
論文 参考訳（メタデータ） (2022-11-21T00:11:50Z) - Trustworthy Graph Neural Networks: Aspects, Methods and Trends [115.84291569988748]
グラフニューラルネットワーク(GNN)は,さまざまな実世界のシナリオに対して,有能なグラフ学習手法として登場した。
パフォーマンス指向のGNNは、敵の攻撃に対する脆弱性のような潜在的な副作用を示す。
こうした意図しない害を避けるためには、信頼度に特徴付けられる有能なGNNを構築する必要がある。
論文 参考訳（メタデータ） (2022-05-16T02:21:09Z) - Decompose to Adapt: Cross-domain Object Detection via Feature
Disentanglement [79.2994130944482]
本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。
DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。
提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
論文 参考訳（メタデータ） (2022-01-06T05:43:01Z) - Neuron Coverage-Guided Domain Generalization [37.77033512313927]
本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。
私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
論文 参考訳（メタデータ） (2021-02-27T14:26:53Z) - A Survey on Assessing the Generalization Envelope of Deep Neural
Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くのアプリケーションで最先端のパフォーマンスを達成する。
入力を受けたDNNが、通常、その決定基準が不透明であるため、正しい出力を提供するかどうかを事前に判断することは困難である。
本調査は,機械学習手法,特にDNNの一般化性能について,大規模フレームワーク内の3つの分野を関連づけるものである。
論文 参考訳（メタデータ） (2020-08-21T09:12:52Z) - Learning from Extrinsic and Intrinsic Supervisions for Domain
Generalization [95.73898853032865]
ドメイン間を同時に一般化する方法を学ぶための新しいドメイン一般化フレームワークを提案する。
提案手法の有効性を2つの標準オブジェクト認識ベンチマークで示す。
論文 参考訳（メタデータ） (2020-07-18T03:12:24Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。