論文の概要: Local Intrinsic Dimensional Entropy

• arxiv url: http://arxiv.org/abs/2304.02223v3
• Date: Wed, 24 May 2023 09:43:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 01:34:47.538975
• Title: Local Intrinsic Dimensional Entropy
• Title（参考訳）: 局所内在的次元エントロピー
• Authors: Rohan Ghosh, Mehul Motani
• Abstract要約: ほとんどのエントロピー測度は、サンプル空間 $mathcalX|$ 上の確率分布の拡散に依存する。 本研究では,連続空間に対するエントロピー測度の定義において,濃度と分布の拡散が果たす役割について考察する。 分布の局所固有次元の平均値は、ID-エントロピー(ID-Entropy)と呼ばれ、連続空間の強エントロピー測度として機能する。
• 参考スコア（独自算出の注目度）: 29.519376857728325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most entropy measures depend on the spread of the probability distribution over the sample space $\mathcal{X}$, and the maximum entropy achievable scales proportionately with the sample space cardinality $|\mathcal{X}|$. For a finite $|\mathcal{X}|$, this yields robust entropy measures which satisfy many important properties, such as invariance to bijections, while the same is not true for continuous spaces (where $|\mathcal{X}|=\infty$). Furthermore, since $\mathbb{R}$ and $\mathbb{R}^d$ ($d\in \mathbb{Z}^+$) have the same cardinality (from Cantor's correspondence argument), cardinality-dependent entropy measures cannot encode the data dimensionality. In this work, we question the role of cardinality and distribution spread in defining entropy measures for continuous spaces, which can undergo multiple rounds of transformations and distortions, e.g., in neural networks. We find that the average value of the local intrinsic dimension of a distribution, denoted as ID-Entropy, can serve as a robust entropy measure for continuous spaces, while capturing the data dimensionality. We find that ID-Entropy satisfies many desirable properties and can be extended to conditional entropy, joint entropy and mutual-information variants. ID-Entropy also yields new information bottleneck principles and also links to causality. In the context of deep learning, for feedforward architectures, we show, theoretically and empirically, that the ID-Entropy of a hidden layer directly controls the generalization gap for both classifiers and auto-encoders, when the target function is Lipschitz continuous. Our work primarily shows that, for continuous spaces, taking a structural rather than a statistical approach yields entropy measures which preserve intrinsic data dimensionality, while being relevant for studying various architectures.
• Abstract（参考訳）: ほとんどのエントロピー測度は、サンプル空間 $\mathcal{X}$ 上の確率分布の拡散に依存し、最大エントロピー到達スケールはサンプル空間の濃度 $|\mathcal{X}|$ に比例する。 有限の $|\mathcal{X}|$ に対して、これは双射への不変性のような多くの重要な性質を満たす頑健なエントロピー測度をもたらすが、連続空間に対しては同じことが成り立たない($|\mathcal{X}|=\infty$)。 さらに、$\mathbb{R}$ と $\mathbb{R}^d$ (d\in \mathbb{Z}^+$) は(カントールの対応論から)同じ濃度を持つので、濃度依存エントロピー測度はデータの次元を符号化できない。 本研究では,連続空間におけるエントロピー測度の定義における濃度と分布の広がりの役割について疑問視する。 分布の局所固有次元の平均値は、ID-エントロピー(ID-Entropy)と呼ばれ、連続空間の強エントロピー測度として機能し、データの次元を捉えることができる。 ID-エントロピーは多くの望ましい性質を満足し、条件付きエントロピー、関節エントロピー、相互情報不変量にまで拡張できる。 ID-エントロピーは新たな情報ボトルネックの原則と因果関係ももたらします。 ディープラーニングの文脈では、フィードフォワードアーキテクチャにおいて、ターゲット関数がリプシッツ連続であるとき、隠れ層のIDエントロピーが、分類器とオートエンコーダの両方の一般化ギャップを直接制御していることを示す。 本研究は, 連続空間において, 統計的アプローチではなく構造的手法を用いると, 内在的なデータ次元を保存するエントロピー尺度が得られ, 各種アーキテクチャの研究に関係があることを主に示している。

関連論文リスト

• Designing a Linearized Potential Function in Neural Network Optimization Using Csiszár Type of Tsallis Entropy [0.0]
  本稿では,Csisz'ar型Tsallisエントロピーを用いた線形化ポテンシャル関数を利用する枠組みを確立する。 新しい枠組みによって指数収束結果が導出できることが示される。
  論文  参考訳（メタデータ） (2024-11-06T02:12:41Z)
• Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
  我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。 ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。 我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-27T01:25:22Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• ChebLieNet: Invariant Spectral Graph NNs Turned Equivariant by Riemannian Geometry on Lie Groups [9.195729979000404]
  ChebLieNet は(異方性)多様体上の群同変法である。 異方性畳み込み層からなるグラフニューラルネットワークを開発した。 CIFAR10上の異方性パラメータに対する(データに依存した)スイートスポットの存在を実証的に証明した。
  論文  参考訳（メタデータ） (2021-11-23T20:19:36Z)
• Asymptotic Causal Inference [6.489113969363787]
  情報理論の枠組みを用いて,変数の数が無限に近づいた場合のシステム内の因果推論について検討する。 対数成長速度によって測定される記述複雑性の観点から,因果モデルの構造エントロピーを定義した。 大規模データセットの因果推論を研究するために,最近普及している二部構成の実験設計を一般化する。
  論文  参考訳（メタデータ） (2021-09-20T16:16:00Z)
• Generalized Entropy Regularization or: There's Nothing Special about Label Smoothing [83.78668073898001]
  本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。 モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。 我々は,他のエントロピー正規化手法の使用を推奨する。
  論文  参考訳（メタデータ） (2020-05-02T12:46:28Z)
• On the Estimation of Information Measures of Continuous Distributions [25.395010130602287]
  サンプルに基づく連続分布の情報量の推定は,統計学と機械学習の基本的な問題である。 我々は, 単純ヒストグラムに基づく一定数の試料からの微分エントロピー推定のための信頼境界を提供する。 我々の焦点は微分エントロピーであるが、同様の結果が相互情報や相対エントロピーにも当てはまることを示す例を示す。
  論文  参考訳（メタデータ） (2020-02-07T15:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。