論文の概要: Limitation of characterizing implicit regularization by data-independent functions

• arxiv url: http://arxiv.org/abs/2201.12198v1
• Date: Fri, 28 Jan 2022 15:53:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 17:20:53.883827
• Title: Limitation of characterizing implicit regularization by data-independent functions
• Title（参考訳）: データ非依存関数による暗黙正則化の限界
• Authors: Leyang Zhang, Zhi-Qin John Xu, Tao Luo, Yaoyu Zhang
• Abstract要約: 近年,ニューラルネットワーク(NN)の暗黙的な正規化を理解することが,ディープラーニング理論の中心的課題となっている。 我々は,暗黙の正規化を数学的に定義し,研究する試みを行っている。
• 参考スコア（独自算出の注目度）: 3.5208869573271446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, understanding the implicit regularization of neural networks (NNs) has become a central task of deep learning theory. However, implicit regularization is in itself not completely defined and well understood. In this work, we make an attempt to mathematically define and study the implicit regularization. Importantly, we explore the limitation of a common approach of characterizing the implicit regularization by data-independent functions. We propose two dynamical mechanisms, i.e., Two-point and One-point Overlapping mechanisms, based on which we provide two recipes for producing classes of one-hidden-neuron NNs that provably cannot be fully characterized by a type of or all data-independent functions. Our results signify the profound data-dependency of implicit regularization in general, inspiring us to study in detail the data-dependency of NN implicit regularization in the future.
• Abstract（参考訳）: 近年,ニューラルネットワーク(nns)の暗黙的正規化の理解が深層学習理論の中心的な課題となっている。 しかし、暗黙の正則化自体は完全に定義されておらず、よく理解されていない。 本研究では,暗黙の正規化を数学的に定義し,研究する。 重要なのは,データ独立関数による暗黙の正規化を特徴付ける共通アプローチの限界を検討することである。 本稿では,2つの動的メカニズム,すなわち2点重なり合い機構を提案する。このメカニズムは,1つの隠れニューロンNNのクラスを生成するための2つのレシピを提供する。 その結果,暗黙的正則化の深遠なデータ依存性が示され,将来におけるNNの暗黙的正則化のデータ依存性を詳細に研究するきっかけとなった。

関連論文リスト

• Continual Learning of Nonlinear Independent Representations [17.65617189829692]
  分布数の増加に伴い,モデル識別可能性がサブスペースレベルからコンポーネントワイドレベルに向上することを示す。 本手法は,複数のオフライン分布に対して共同で学習した非線形ICA法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-08-11T14:33:37Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• Simple Regularisation for Uncertainty-Aware Knowledge Distillation [2.792030485253753]
  本研究では,機械学習モデルのアンサンブルを単一NNに分割した分布自由知識蒸留のための簡単な正規化手法について検討する。 正規化の目的は、微調整のような難易度のないオリジナルのアンサンブルの多様性、正確性、不確実性の推定特性を維持することである。
  論文  参考訳（メタデータ） (2022-05-19T12:49:37Z)
• OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation [51.083573770706636]
  この作業はリレーショナル推論を使って不完全なデータを埋めます。 本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
  論文  参考訳（メタデータ） (2021-05-02T06:05:54Z)
• Measuring Dependence with Matrix-based Entropy Functional [21.713076360132195]
  データの依存度を測定することは、統計と機械学習の中心的な役割を担います。 行列ベース正規化総相関(T_alpha*$)と行列ベース正規化双対総相関(D_alpha*$)の2つの尺度を提案する。 我々の尺度は微分可能かつ統計的に一般的なものよりも強力であることを示す。
  論文  参考訳（メタデータ） (2021-01-25T15:18:16Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。