論文の概要: Improving Numerical Stability of Normalized Mutual Information Estimator on High Dimensions

• arxiv url: http://arxiv.org/abs/2410.07642v1
• Date: Thu, 10 Oct 2024 06:20:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:46:26.785001
• Title: Improving Numerical Stability of Normalized Mutual Information Estimator on High Dimensions
• Title（参考訳）: 高次元における正規化相互情報推定器の数値安定性の向上
• Authors: Marko Tuononen, Ville Hautamäki,
• Abstract要約: k-Nearest Neighbor (k-NN) に基づく手法を用いて正規化された相互情報を推定するには、スケーリング不変なk-NN半径の計算が必要となる。 本研究では,高次元空間における半径計算の数値安定性を向上させる対数変換手法を提案する。
• 参考スコア（独自算出の注目度）: 3.7507283158673204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mutual information provides a powerful, general-purpose metric for quantifying the amount of shared information between variables. Estimating normalized mutual information using a k-Nearest Neighbor (k-NN) based approach involves the calculation of the scaling-invariant k-NN radius. Calculation of the radius suffers from numerical overflow when the joint dimensionality of the data becomes high, typically in the range of several hundred dimensions. To address this issue, we propose a logarithmic transformation technique that improves the numerical stability of the radius calculation in high-dimensional spaces. By applying the proposed transformation during the calculation of the radius, numerical overflow is avoided, and precision is maintained. Proposed transformation is validated through both theoretical analysis and empirical evaluation, demonstrating its ability to stabilize the calculation without compromizing the precision of the results.
• Abstract（参考訳）: 相互情報は、変数間で共有される情報の量を定量化するための強力で汎用的なメトリクスを提供する。 k-Nearest Neighbor (k-NN) に基づく手法を用いて正規化された相互情報を推定するには、スケーリング不変なk-NN半径の計算が必要となる。 半径の計算は、典型的には数百次元の範囲で、データの関節次元が高くなると数値的なオーバーフローに悩まされる。 この問題に対処するため,高次元空間における半径計算の数値安定性を向上させる対数変換手法を提案する。 半径の計算中に提案した変換を適用することにより、数値オーバーフローが回避され、精度が維持される。 提案した変換は、理論解析と経験的評価の両方を通じて検証され、結果の精度を損なうことなく、計算を安定させる能力を示す。

関連論文リスト

• DNA-SE: Towards Deep Neural-Nets Assisted Semiparametric Estimation [39.48526221316346]
  半パラメトリック統計学は、欠落データ、因果推論、転帰学習など、幅広い領域において重要な役割を担っている。 我々は,Deep Neural-Nets Assisted Semiparametric Estimation (DNA-SE) と呼ばれるスケーラブルなアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-04T14:45:26Z)
• Gaussian process regression and conditional Karhunen-Lo\'{e}ve models for data assimilation in inverse problems [68.8204255655161]
  偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。 CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
  論文  参考訳（メタデータ） (2023-01-26T18:14:12Z)
• Statistical, Robustness, and Computational Guarantees for Sliced Wasserstein Distances [18.9717974398864]
  スライスされたワッサーシュタイン距離は古典的なワッサーシュタイン距離の性質を保ちながら、高次元での計算と推定によりスケーラブルである。 このスケーラビリティを, (i) 経験的収束率, (ii) データの汚染に対する堅牢性, (iii) 効率的な計算方法という3つの重要な側面から定量化する。
  論文  参考訳（メタデータ） (2022-10-17T15:04:51Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Square Root Bundle Adjustment for Large-Scale Reconstruction [56.44094187152862]
  QR分解によるランドマーク変数のnullspace marginalizationに依存するバンドル調整問題の新たな定式化を提案する。 平方根束調整と呼ばれる私たちのアプローチは、一般的に使用されるSchur補完トリックと代数的に等価です。 BALデータセットを用いた実世界での実験では、提案されたソルバが単一の精度でも平均的等しく正確なソリューションで達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-02T16:26:20Z)
• Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
  深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。 可変スキップは、10-100$timesの効率向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-07-10T19:01:40Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• High-Dimensional Non-Parametric Density Estimation in Mixed Smooth Sobolev Spaces [31.663702435594825]
  密度推定は、機械学習、統計的推測、可視化において多くのタスクにおいて重要な役割を果たす。 高次元密度推定の主なボトルネックは計算コストの禁止と収束速度の低下である。 適応型双曲交叉密度推定器(Adaptive hyperbolic cross density estimator)と呼ばれる高次元非パラメトリック密度推定のための新しい推定器を提案する。
  論文  参考訳（メタデータ） (2020-06-05T21:27:59Z)
• Scalable Distributed Approximation of Internal Measures for Clustering Evaluation [5.144809478361603]
  クラスタリング評価のための内部測度はシルエット係数であり、計算には2つの距離計算が必要である。 本稿では,任意の距離に基づいてクラスタリングの評価を行うための厳密な近似を計算した最初のスケーラブルアルゴリズムを提案する。 また,このアルゴリズムは凝集や分離などのクラスタリング品質の他の内部指標の厳密な近似に適応可能であることも証明した。
  論文  参考訳（メタデータ） (2020-03-03T10:28:14Z)
• Statistical Inference for Model Parameters in Stochastic Gradient Descent [45.29532403359099]
  勾配降下係数(SGD)は,その計算効率とメモリ効率から,大規模データの統計的推定に広く用いられている。 人口減少関数が強い凸であり,一定の条件を満たす場合,SGDに基づく真のモデルパラメータの統計的推測の問題について検討する。
  論文  参考訳（メタデータ） (2016-10-27T07:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。