論文の概要: eDCF: Estimating Intrinsic Dimension using Local Connectivity

• arxiv url: http://arxiv.org/abs/2510.16513v1
• Date: Sat, 18 Oct 2025 14:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.021225
• Title: eDCF: Estimating Intrinsic Dimension using Local Connectivity
• Title（参考訳）: eDCF:局所接続性を用いた固有次元の推定
• Authors: Dhruv Gupta, Aditya Nagarsekar, Vraj Shah, Sujith Thomas,
• Abstract要約: 本稿では,eDCFと呼ばれる新しい,スケーラブルで並列化可能な手法を紹介し,様々なスケールにまたがる固有次元を頑健に推定する。 提案手法は,ノイズのあるサンプルを合成したベンチマークにおいて,平均絶対誤差(MAE)の値に匹敵する推定値を得る。 また,本手法が決定境界におけるフラクタル測度を正確に検出し,現実的な構造化データ解析に有効であることを確認した。
• 参考スコア（独自算出の注目度）: 0.34998703934432673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern datasets often contain high-dimensional features exhibiting complex dependencies. To effectively analyze such data, dimensionality reduction methods rely on estimating the dataset's intrinsic dimension (id) as a measure of its underlying complexity. However, estimating id is challenging due to its dependence on scale: at very fine scales, noise inflates id estimates, while at coarser scales, estimates stabilize to lower, scale-invariant values. This paper introduces a novel, scalable, and parallelizable method called eDCF, which is based on Connectivity Factor (CF), a local connectivity-based metric, to robustly estimate intrinsic dimension across varying scales. Our method consistently matches leading estimators, achieving comparable values of mean absolute error (MAE) on synthetic benchmarks with noisy samples. Moreover, our approach also attains higher exact intrinsic dimension match rates, reaching up to 25.0% compared to 16.7% for MLE and 12.5% for TWO-NN, particularly excelling under medium to high noise levels and large datasets. Further, we showcase our method's ability to accurately detect fractal geometries in decision boundaries, confirming its utility for analyzing realistic, structured data.
• Abstract（参考訳）: 現代のデータセットは、しばしば複雑な依存関係を示す高次元の特徴を含んでいる。 このようなデータを効果的に分析するために、次元削減法は、その基盤となる複雑さの尺度としてデータセットの内在次元(id)を推定することに依存する。 非常に微細なスケールでは、ノイズはid推定を膨らませるが、粗いスケールでは、推定はより低いスケール不変値に安定化する。 本稿では,局所接続型計量であるコネクティビティ係数(CF)に基づいて,様々なスケールにまたがる固有次元を頑健に推定する,eDCFと呼ばれる新しい,スケーラブルで並列化可能な手法を提案する。 提案手法は,ノイズのあるサンプルを合成したベンチマークにおいて,平均絶対誤差(MAE)の値に匹敵する推定値を得る。 さらに本手法では,MLEの16.7%,TWO-NNの12.5%に対して25.0%に達し,特に中～高レベルのノイズレベルと大規模なデータセットで優れている。 さらに,本手法が決定境界におけるフラクタル幾何学を正確に検出し,現実的な構造化データ解析に有効であることを実証する。

関連論文リスト

• A Survey of Dimension Estimation Methods [0.0]
  データの実際の次元を理解することは重要である。 本調査では, 様々な次元推定手法を概観し, 利用した幾何学的情報を用いて分類する。 本研究は, 曲率, 騒音に対する各種応答の検討とともに, これらの手法の性能評価を行う。
  論文  参考訳（メタデータ） (2025-07-18T13:05:42Z)
• Geometry-Aware Instrumental Variable Regression [56.16884466478886]
  本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。 本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
  論文  参考訳（メタデータ） (2024-05-19T17:49:33Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Intrinsic Dimensionality Estimation within Tight Localities: A Theoretical and Experimental Analysis [0.0]
  そこで本研究では,20個のサンプル点からなるタイトな局所性に対しても安定な局所ID推定手法を提案する。 実験結果から,提案手法の偏差は比較的小さいが, 偏差は比較的小さく, 試料径は最先端の推定値よりもはるかに小さいことがわかった。
  論文  参考訳（メタデータ） (2022-09-29T00:00:11Z)
• Smooth densities and generative modeling with unsupervised random forests [1.433758865948252]
  密度推定器の重要な応用は合成データ生成である。 パラメータ制約を伴わない任意の次元における滑らかな密度を推定するための,教師なしランダム森林に基づく新しい手法を提案する。 提案手法の整合性を証明し,既存の木質密度推定器に対する利点を実証する。
  論文  参考訳（メタデータ） (2022-05-19T09:50:25Z)
• Semi-Supervised Quantile Estimation: Robust and Efficient Inference in High Dimensional Settings [0.5735035463793009]
  2つの利用可能なデータセットを特徴とする半教師付き環境での量子推定を考察する。 本稿では,2つのデータセットに基づいて,応答量子化(s)に対する半教師付き推定器群を提案する。
  論文  参考訳（メタデータ） (2022-01-25T10:02:23Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Featurized Density Ratio Estimation [82.40706152910292]
  本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。 この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。 同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
  論文  参考訳（メタデータ） (2021-07-05T18:30:26Z)
• Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
  相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。 本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。 提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
  論文  参考訳（メタデータ） (2021-07-02T02:13:45Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。