論文の概要: What is the $\textit{intrinsic}$ dimension of your binary data? -- and how to compute it quickly
- arxiv url: http://arxiv.org/abs/2404.06326v1
- Date: Tue, 9 Apr 2024 14:04:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:30:51.130546
- Title: What is the $\textit{intrinsic}$ dimension of your binary data? -- and how to compute it quickly
- Title(参考訳): バイナリデータの$\textit{intrinsic}$ dimensionとは何でしょうか?
- Authors: Tom Hanika, Tobias Hille,
- Abstract要約: 2006年のICDMの論文Tattiらは、正規化相関次元を導入してバイナリデータテーブルの(解釈可能な)次元に関する質問に答えた。
本研究では, それらの結果を再考し, 幾何学的データセットに最近導入された本質的次元の概念と対比する。
本稿では,特定のサポート値のみの計算概念に基づく新しいIDを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dimensionality is an important aspect for analyzing and understanding (high-dimensional) data. In their 2006 ICDM paper Tatti et al. answered the question for a (interpretable) dimension of binary data tables by introducing a normalized correlation dimension. In the present work we revisit their results and contrast them with a concept based notion of intrinsic dimension (ID) recently introduced for geometric data sets. To do this, we present a novel approximation for this ID that is based on computing concepts only up to a certain support value. We demonstrate and evaluate our approximation using all available datasets from Tatti et al., which have between 469 and 41271 extrinsic dimensions.
- Abstract(参考訳): 次元性は、(高次元の)データを解析し、理解するための重要な側面である。
2006年のICDMの論文Tatti et alは、正規化相関次元を導入してバイナリデータテーブルの(解釈可能な)次元に関する質問に答えた。
本研究では, それらの結果を再考し, 幾何学的データセットに最近導入された本質的次元の概念と対比する。
そこで本研究では,特定のサポート値のみを計算概念とする新しい近似法を提案する。
我々は,469から41271の外部次元を持つTatti et al から得られるすべてのデータセットを用いて,我々の近似を実証し,評価した。
関連論文リスト
- Relative intrinsic dimensionality is intrinsic to learning [49.5738281105287]
本稿では,データ分布の固有次元の概念を導入し,データの分離性特性を正確に把握する。
この本質的な次元に対して、上の親指の規則は法則となり、高本質的な次元は高度に分離可能なデータを保証する。
本稿では,2進分類問題における学習と一般化の確率について,上界と下界の両方に相対固有次元を与えることを示す。
論文 参考訳(メタデータ) (2023-10-10T10:41:45Z) - Interpretable Linear Dimensionality Reduction based on Bias-Variance
Analysis [45.3190496371625]
本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。
このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
論文 参考訳(メタデータ) (2023-03-26T14:30:38Z) - DimenFix: A novel meta-dimensionality reduction method for feature
preservation [64.0476282000118]
そこで我々は, グラデーション・ディフレッシブなプロセスを含む任意の基本次元還元法で操作できる新しいメタメソド, DimenFixを提案する。
DimenFixは、ディメンタリティの削減と見なされるさまざまな機能の重要性をユーザが定義できるようにすることで、与えられたデータセットを視覚化し、理解する新たな可能性を生み出します。
論文 参考訳(メタデータ) (2022-11-30T05:35:22Z) - Intrinsic Dimension for Large-Scale Geometric Learning [0.0]
データセットの次元を決定するための単純なアプローチは、属性の数に基づいています。
より洗練された手法は、より複雑な特徴関数を用いる内在次元(ID)の概念を導出する。
論文 参考訳(メタデータ) (2022-10-11T09:50:50Z) - FONDUE: an algorithm to find the optimal dimensionality of the latent
representations of variational autoencoders [2.969705152497174]
本稿では,データの本質的次元推定(IDE)と,VAEが学習した潜在表現について検討する。
平均値とサンプル値との平均値との差は,数段階の訓練で潜在空間に受動的変数が存在することが判明した。
FONDUE: 平均およびサンプル表現が分岐し始めた後, 遅延次元の個数を素早く見つけるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-26T15:59:54Z) - The Mean Dimension of Neural Networks -- What causes the interaction
effects? [0.9208007322096533]
Owen氏とHoyt氏は先日、この有効次元が、人工ニューラルネットワークの基盤となる入出力マッピングに関する重要な構造情報を提供することを示した。
本研究は,与えられたデータセットからの平均次元を計算可能な推定手順を提案する。
論文 参考訳(メタデータ) (2022-07-11T14:00:06Z) - Manifold Hypothesis in Data Analysis: Double Geometrically-Probabilistic
Approach to Manifold Dimension Estimation [92.81218653234669]
本稿では, 多様体仮説の検証と基礎となる多様体次元推定に対する新しいアプローチを提案する。
我々の幾何学的手法はミンコフスキー次元計算のためのよく知られたボックスカウントアルゴリズムのスパースデータの修正である。
実データセットの実験では、2つの手法の組み合わせに基づく提案されたアプローチが強力で効果的であることが示されている。
論文 参考訳(メタデータ) (2021-07-08T15:35:54Z) - Intrinsic Dimension Estimation [92.87600241234344]
内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。
次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
論文 参考訳(メタデータ) (2021-06-08T00:05:39Z) - The Intrinsic Dimension of Images and Its Impact on Learning [60.811039723427676]
自然画像データは従来の画素表現の高次元にもかかわらず低次元構造を示すと広く信じられている。
本研究では,一般的なデータセットに次元推定ツールを適用し,深層学習における低次元構造の役割を検討する。
論文 参考訳(メタデータ) (2021-04-18T16:29:23Z) - A Local Similarity-Preserving Framework for Nonlinear Dimensionality
Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。
ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。
8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-03-10T23:10:47Z) - ABID: Angle Based Intrinsic Dimensionality [0.0]
内在的な次元性は、データ表現の次元性とは対照的に、データの真の次元性を指す。
局所固有次元を推定するための最も一般的な方法は距離に基づく。
角度の理論的分布を導出し、これを用いて固有次元の推定器を構築する。
論文 参考訳(メタデータ) (2020-06-23T10:19:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。