論文の概要: Predicting Deep Neural Network Generalization with Perturbation Response Curves

• arxiv url: http://arxiv.org/abs/2106.04765v1
• Date: Wed, 9 Jun 2021 01:37:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:26:08.717829
• Title: Predicting Deep Neural Network Generalization with Perturbation Response Curves
• Title（参考訳）: 摂動応答曲線を用いた深部ニューラルネットワークの一般化予測
• Authors: Yair Schiff, Brian Quanz, Payel Das, Pin-Yu Chen
• Abstract要約: トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
• 参考スコア（独自算出の注目度）: 58.8755389068888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Deep Learning is rich with empirical evidence of human-like performance on a variety of prediction tasks. However, despite these successes, the recent Predicting Generalization in Deep Learning (PGDL) NeurIPS 2020 competition suggests that there is a need for more robust and efficient measures of network generalization. In this work, we propose a new framework for evaluating the generalization capabilities of trained networks. We use perturbation response (PR) curves that capture the accuracy change of a given network as a function of varying levels of training sample perturbation. From these PR curves, we derive novel statistics that capture generalization capability. Specifically, we introduce two new measures for accurately predicting generalization gaps: the Gi-score and Pal-score, that are inspired by the Gini coefficient and Palma ratio (measures of income inequality), that accurately predict generalization gaps. Using our framework applied to intra and inter class sample mixup, we attain better predictive scores than the current state-of-the-art measures on a majority of tasks in the PGDL competition. In addition, we show that our framework and the proposed statistics can be used to capture to what extent a trained network is invariant to a given parametric input transformation, such as rotation or translation. Therefore, these generalization gap prediction statistics also provide a useful means for selecting the optimal network architectures and hyperparameters that are invariant to a certain perturbation.
• Abstract（参考訳）: ディープラーニングの分野は、さまざまな予測タスクにおける人間のようなパフォーマンスの実証的な証拠に富んでいる。 しかし、これらの成功にもかかわらず、最近のPGDL(Predicting Generalization in Deep Learning) NeurIPS 2020コンペティションは、より堅牢で効率的なネットワーク一般化対策の必要性を示唆している。 本研究では,訓練ネットワークの一般化能力を評価するための新しいフレームワークを提案する。 我々は,トレーニングサンプルの摂動レベルを変化させる関数として,与えられたネットワークの精度変化をキャプチャするpr曲線を用いる。 これらのPR曲線から一般化能力を捉える新しい統計を導出する。 具体的には、Gini係数とPalta比(所得不平等の測定)にインスパイアされたGi-scoreとPal-scoreの2つの新しい手法を導入する。 本フレームワークをクラス内およびクラス間混合に応用し,PGDLコンペティションにおける課題の大部分に対する最先端の指標よりも優れた予測スコアを得た。 さらに,我々のフレームワークと提案した統計値を用いて,トレーニングされたネットワークが,回転や変換などのパラメトリックな入力変換にどの程度不変であるかを推定できることを示す。 したがって、これらの一般化ギャップ予測統計は、ある摂動に不変な最適なネットワークアーキテクチャとハイパーパラメータを選択する有用な手段を提供する。

関連論文リスト

• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Gi and Pal Scores: Deep Neural Network Generalization Statistics [58.8755389068888]
  深層ニューラルネットワークの一般化能力を捉えた2つの新しい尺度、gi-scoreとpal-scoreを導入する。 Gini係数とPalma比にインスパイアされた我々の統計は、一般化ギャップを正確に予測する摂動に対するネットワークの不変性の頑健な測度である。
  論文  参考訳（メタデータ） (2021-04-08T01:52:49Z)
• Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
  トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2021-03-10T11:39:14Z)
• Learning Prediction Intervals for Regression: Generalization and Calibration [12.576284277353606]
  不確実性定量のための回帰における予測間隔の生成について検討する。 我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。 我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
  論文  参考訳（メタデータ） (2021-02-26T17:55:30Z)
• Using noise resilience for ranking generalization of deep neural networks [2.9263047269622784]
  トレーニングデータとそのパラメータからネットワークの一般化誤差を予測するためのいくつかの手法を提案する。 この手法の1つを用いて,NeurIPS 2020における深層学習(PGDL)競争の予測一般化において,ネットワークの耐雑音性に基づいて第5位を確保した。
  論文  参考訳（メタデータ） (2020-12-16T10:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。