論文の概要: Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation

• arxiv url: http://arxiv.org/abs/2203.09082v1
• Date: Thu, 17 Mar 2022 04:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:14:33.586687
• Title: Confidence Dimension for Deep Learning based on Hoeffding Inequality and Relative Evaluation
• Title（参考訳）: Hoeffdingの不等式に基づく深層学習の信頼度と相対評価
• Authors: Runqi Wang, Linlin Yang, Baochang Zhang, Wentao Zhu, David Doermann, Guodong Guo
• Abstract要約: 我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。 我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
• 参考スコア（独自算出の注目度）: 44.393256948610016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research on the generalization ability of deep neural networks (DNNs) has recently attracted a great deal of attention. However, due to their complex architectures and large numbers of parameters, measuring the generalization ability of specific DNN models remains an open challenge. In this paper, we propose to use multiple factors to measure and rank the relative generalization of DNNs based on a new concept of confidence dimension (CD). Furthermore, we provide a feasible framework in our CD to theoretically calculate the upper bound of generalization based on the conventional Vapnik-Chervonenk dimension (VC-dimension) and Hoeffding's inequality. Experimental results on image classification and object detection demonstrate that our CD can reflect the relative generalization ability for different DNNs. In addition to full-precision DNNs, we also analyze the generalization ability of binary neural networks (BNNs), whose generalization ability remains an unsolved problem. Our CD yields a consistent and reliable measure and ranking for both full-precision DNNs and BNNs on all the tasks.
• Abstract（参考訳）: 近年,ディープニューラルネットワーク(DNN)の一般化能力に関する研究が注目されている。 しかし、複雑なアーキテクチャと多数のパラメータにより、特定のDNNモデルの一般化能力の測定は依然としてオープンな課題である。 本稿では,信頼度次元(cd)の新たな概念に基づいて,dnnの相対的一般化の測定とランク付けに複数の因子を用いることを提案する。 さらに,従来のvapnik-chervonenk次元 (vc-dimension) とhoeffdingの不等式に基づく一般化の上界を理論的に計算することができる。 画像分類と物体検出の実験結果から,DNNの相対一般化能力を再現できることが示された。 また,全精度dnnに加えて,一般化能力が未解決問題であるバイナリニューラルネットワーク(bnns)の一般化能力も解析した。 我々のCDは、全タスクにおいて完全精度のDNNとBNNの両方に対して、一貫した信頼性のある尺度とランキングを得る。

関連論文リスト

• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• Unveiling and Mitigating Generalized Biases of DNNs through the Intrinsic Dimensions of Perceptual Manifolds [46.47992213722412]
  公正なディープニューラルネットワーク(DNN)の構築は、信頼できる人工知能を達成するための重要なステップである。 本稿では,モデルの公平性と性能を高める固有次元正規化(IDR)を提案する。 様々な画像認識ベンチマークテストにおいて、IDRはモデルバイアスを低減し、性能を向上する。
  論文  参考訳（メタデータ） (2024-04-22T04:16:40Z)
• On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
  Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。 本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。 現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
  論文  参考訳（メタデータ） (2024-02-20T16:01:39Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Estimating the Generalization in Deep Neural Networks via Sparsity [15.986873241115651]
  本稿では,ネットワークの分散度に基づいて一般化ギャップを推定する新しい手法を提案する。 一般的なデータセット上で幅広い一般化ギャップを持つDNNを訓練することにより、DNNの一般化ギャップを推定する上で、我々の重要な量と線形モデルが効率的なツールであることを示す。
  論文  参考訳（メタデータ） (2021-04-02T02:10:32Z)
• Neuron Coverage-Guided Domain Generalization [37.77033512313927]
  本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。 私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
  論文  参考訳（メタデータ） (2021-02-27T14:26:53Z)
• Role Taxonomy of Units in Deep Neural Networks [15.067182415076148]
  ディープニューラルネットワーク(DNN)におけるネットワークユニットの役割を,検索・オブ・ファンクションテストを通じて同定する。 これら4つのカテゴリーの比率は、2つの異なる視点からDNNの一般化能力と強く関連していることを示す。
  論文  参考訳（メタデータ） (2020-11-02T07:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。