論文の概要: Gi and Pal Scores: Deep Neural Network Generalization Statistics

• arxiv url: http://arxiv.org/abs/2104.03469v1
• Date: Thu, 8 Apr 2021 01:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 12:59:22.694928
• Title: Gi and Pal Scores: Deep Neural Network Generalization Statistics
• Title（参考訳）: GiとPalスコア:ディープニューラルネットワークの一般化統計
• Authors: Yair Schiff, Brian Quanz, Payel Das, Pin-Yu Chen
• Abstract要約: 深層ニューラルネットワークの一般化能力を捉えた2つの新しい尺度、gi-scoreとpal-scoreを導入する。 Gini係数とPalma比にインスパイアされた我々の統計は、一般化ギャップを正確に予測する摂動に対するネットワークの不変性の頑健な測度である。
• 参考スコア（独自算出の注目度）: 58.8755389068888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Deep Learning is rich with empirical evidence of human-like performance on a variety of regression, classification, and control tasks. However, despite these successes, the field lacks strong theoretical error bounds and consistent measures of network generalization and learned invariances. In this work, we introduce two new measures, the Gi-score and Pal-score, that capture a deep neural network's generalization capabilities. Inspired by the Gini coefficient and Palma ratio, measures of income inequality, our statistics are robust measures of a network's invariance to perturbations that accurately predict generalization gaps, i.e., the difference between accuracy on training and test sets.
• Abstract（参考訳）: ディープラーニングの分野は、さまざまな回帰、分類、制御タスクにおける人間のようなパフォーマンスの実証的な証拠に富んでいる。 しかし、これらの成功にもかかわらず、この分野は強い理論上の誤差境界とネットワークの一般化と学習不変性の一貫した尺度を欠いている。 本研究では,深いニューラルネットワークの一般化能力を捉える2つの新しい尺度であるGi-scoreとPal-scoreを紹介する。 収入不平等の尺度であるgini係数とpalma比に着想を得た本統計は、一般化ギャップを正確に予測する摂動に対するネットワークの不変性、すなわちトレーニングとテストセットの精度の差のロバストな尺度である。

関連論文リスト

• Generalization bounds for regression and classification on adaptive covering input domains [1.4141453107129398]
  一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
  論文  参考訳（メタデータ） (2024-07-29T05:40:08Z)
• Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• Inconsistency, Instability, and Generalization Gap of Deep Neural Network Training [14.871738070617491]
  不整合は、損失景観の鋭さよりも、一般化ギャップの信頼性の高い指標であることを示す。 この結果は、共蒸留やアンサンブルといった既存の手法の理論的基盤も提供する。
  論文  参考訳（メタデータ） (2023-05-31T20:28:13Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。