論文の概要: Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method

• arxiv url: http://arxiv.org/abs/2009.09161v2
• Date: Sat, 3 Apr 2021 12:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 20:43:16.788709
• Title: Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method
• Title（参考訳）: ディープニューラルネットワークの隠れユニット間のラベルに基づく多様性測定:正規化法
• Authors: Chenguang Zhang and Yuexian Hou and Dawei Song and Liangzhu Ge and Yaoshuai Yao
• Abstract要約: 教師付き学習環境下での隠蔽単位の多様性を記述するために,冗長性の新たな定義を導入する。 定義された冗長性と一般化能力との間には逆の関係があることを証明する。 実験の結果, 冗長性を正規化器として用いるDNNは, オーバーフィットを効果的に低減し, 一般化誤差を低減できることがわかった。
• 参考スコア（独自算出の注目度）: 18.72270439152708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the deep structure guarantees the powerful expressivity of deep networks (DNNs), it also triggers serious overfitting problem. To improve the generalization capacity of DNNs, many strategies were developed to improve the diversity among hidden units. However, most of these strategies are empirical and heuristic in absence of either a theoretical derivation of the diversity measure or a clear connection from the diversity to the generalization capacity. In this paper, from an information theoretic perspective, we introduce a new definition of redundancy to describe the diversity of hidden units under supervised learning settings by formalizing the effect of hidden layers on the generalization capacity as the mutual information. We prove an opposite relationship existing between the defined redundancy and the generalization capacity, i.e., the decrease of redundancy generally improving the generalization capacity. The experiments show that the DNNs using the redundancy as the regularizer can effectively reduce the overfitting and decrease the generalization error, which well supports above points.
• Abstract（参考訳）: 深い構造はディープネットワーク(DNN)の強力な表現性を保証するが、深刻なオーバーフィッティング問題を引き起こす。 DNNの一般化能力を向上させるため、隠れユニット間の多様性を改善するために多くの戦略が開発された。 しかしながら、これらの戦略の多くは、多様性測度の理論的な導出や、多様性から一般化能力への明確な関連がない経験的かつヒューリスティックである。 本稿では,情報理論の観点から,隠蔽層が一般化能力に与える影響を相互情報として形式化し,教師付き学習環境下での隠蔽単位の多様性を記述するための冗長性の定義を導入する。 我々は, 一般化能力と一般化能力との間には逆関係があることを証明し, 一般に一般化能力が向上する冗長性の減少を証明した。 実験の結果,冗長性を正規化器として用いたdnnは,過剰フィッティングを効果的に低減し,一般化誤差を低減できることがわかった。

関連論文リスト

• Diversity-Aware Agnostic Ensemble of Sharpness Minimizers [24.160975100349376]
  深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。 我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-19T23:50:11Z)
• Rethinking Multi-domain Generalization with A General Learning Objective [19.28143363034362]
  マルチドメイン一般化(mDG)は、トレーニングとテストディストリビューションの相違を最小限にすることを目的としている。 既存のmDG文献には、一般的な学習目標パラダイムが欠けている。 制約緩和に$Y$-mappingを活用することを提案する。
  論文  参考訳（メタデータ） (2024-02-29T05:00:30Z)
• Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts [10.27974860479791]
  本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。 提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T20:09:47Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Calibrated Feature Decomposition for Generalizable Person Re-Identification [82.64133819313186]
  Calibrated Feature Decomposition (CFD)モジュールは、人物の再識別の一般化能力の向上に焦点を当てている。 キャリブレーション・アンド・スタンダード化されたバッチ正規化(CSBN)は、キャリブレーションされた人物表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-11-27T17:12:43Z)
• Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation [65.79387438988554]
  十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。 我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。 教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-06T14:08:54Z)
• A Too-Good-to-be-True Prior to Reduce Shortcut Reliance [0.19573380763700707]
  ディープ畳み込みニューラルネットワーク(DCNN)は、しばしば分布外(o.o.d.)への一般化に失敗する。 サンプル この欠点の原因の1つは、現代建築が「ショートカット」に頼る傾向があることである。 この誘導バイアスは、低容量ネットワークからの予測を用いて高容量ネットワークのトレーニングを通知する2段階のアプローチで実装する。
  論文  参考訳（メタデータ） (2021-02-12T09:17:24Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Style Normalization and Restitution for Generalizable Person Re-identification [89.482638433932]
  我々は、ソースドメイン上でモデルをトレーニングするが、ターゲットドメイン上での一般化や性能をよく行うことのできる、一般化可能な人物ReIDフレームワークを設計する。 本稿では,シンプルで効果的なスタイル正規化・再構成(SNR)モジュールを提案する。 SNRモジュールによって強化された我々のモデルは、複数の広く使われているReIDベンチマークにおいて最先端のドメイン一般化アプローチよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-05-22T07:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。