論文の概要: Pairwise Distortion Distribution with Graph-Based Importance Sampling for Quantization Error and Intrinsic Dimension Estimation
- arxiv url: http://arxiv.org/abs/2611.04341v1
- Date: Tue, 03 Nov 2026 05:27:09 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:37:59.499387
- Title: Pairwise Distortion Distribution with Graph-Based Importance Sampling for Quantization Error and Intrinsic Dimension Estimation
- Title（参考訳）: 量子化誤差と固有次元推定のためのグラフベース重要度サンプリングによるペアワイズ歪み分布
- Abstract要約: データ次元の定量化は、機械学習および信号処理アプリケーションにおける基本的なニーズである。
ここでは、レニー情報次元、速度歪み次元、量子化次元といった様々な概念が有用である。
近年の研究では、データソースのペア方向の歪み分布(PDD)を解析することで、ランダムなコードブック量子化の歪みに対するトラクタブルな下限が得られることが示されている。
- 参考スコア（独自算出の注目度）: 8.704814235626086
- License:
- Abstract: Quantifying the dimensionality of data is a fundamental need in machine learning and signal processing applications such as representation learning, data compression, and inverse problems, where the extrinsic dimension in which the data is presented can be very different from the intrinsic dimension that determines the operational performance. Various concepts, such as Rényi information dimension, rate-distortion dimension, and quantization dimension are useful here. Despite their theoretical significance, estimating these measures are challenging given their asymptotic definitions. Recent research has shown that analyzing the pairwise distortion distribution (PDD) of a data source can provide a tractable lower bound on the distortion of random codebook quantization, from which a tractable notion of intrinsic dimension can be derived. In this paper we extend this line of research in three main ways. First, we develop a related upper bound on distortion of random codebook quantization. Second, we improve the computability of both the lower and upper bounds, using a graph-based adaptive importance sampling approach. Third, we leverage the bounds to define new notions of intrinsic dimension which form upper and lower bounds on the Rényi information dimension, rate-distortion dimension, and quantization dimension, and which can be empirically estimated from unknown data sources. We illustrate the concepts by analyzing several artificial and empirical distributions.
- Abstract（参考訳）: データの次元を定量化することは、表現学習、データ圧縮、逆問題といった機械学習や信号処理アプリケーションにおいて基本的な必要性であり、データの提示する外在次元は、運用性能を決定する内在次元とは大きく異なる。
ここでは、レニー情報次元、速度歪み次元、量子化次元といった様々な概念が有用である。
その理論的な重要性にもかかわらず、それらの漸近的な定義を考えると、これらの測度を推定することは困難である。
近年の研究では、データソースの対歪み分布(PDD)を解析することで、ランダムなコードブック量子化の歪みに対するトラクタブルな下限が得られ、そこからトラクタブルな固有次元の概念を導出できることが示されている。
本稿では,この研究線を3つの主な方法で拡張する。
まず、ランダムなコードブック量子化の歪みに関する関連する上限を開発する。
第2に、グラフベースの適応的重要度サンプリング手法を用いて、下界と上界の両方の計算可能性を改善する。
第三に、これらの境界を利用して、レニー情報次元、速度歪み次元、量子化次元の上下境界を形成し、未知のデータ源から経験的に推定できる固有次元の新たな概念を定義する。
いくつかの人工的分布と経験的分布を分析し,その概念を解説する。
関連論文リスト
- Mutual information and task-relevant latent dimensionality [0.0]
予測に必要な潜在表現の次元を推定することは困難であり、ほとんど解決されていない問題である。
分離・双線形批判を持つ標準神経推定器は, 推定次元を体系的にインフレーションすることを示した。
1つのデータセットのペアビューを構築することにより、本質的な次元性へのアプローチを拡張する。
論文 参考訳（メタデータ） (2026-02-08T19:58:49Z) - Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T12:38:46Z) - Interpreting the Curse of Dimensionality from Distance Concentration and Manifold Effect [0.6144680854063939]
まず、高次元データを操作する際の潜在的な課題を要約し、回帰、分類、クラスタリングタスクの失敗の原因を説明する。
次に、理論的および経験的分析を行うことにより、次元性、距離集中、多様体効果の呪いの2つの主要な原因を掘り下げる。
その結果、次元が増加するにつれて、ミンコフスキー距離、チェビシェフ距離、コサイン距離の3つの古典的距離測定を用いた近接探索(NNS)が無意味になることが示された。
論文 参考訳（メタデータ） (2023-12-31T08:22:51Z) - The signaling dimension in generalized probabilistic theories [48.99818550820575]
物理系のシグナリング次元は、与えられた系のすべての入出力相関を再現するために必要な古典系の最小次元を定量化する。
線量測定を線量効果で考えるのに十分であることを示すとともに、そのような測定の要素の数を線形次元で表す。
有限個の極端効果を持つ系に対しては、極端測定を光線-極端効果で特徴づけるという問題を再放送する。
論文 参考訳（メタデータ） (2023-11-22T02:09:16Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳（メタデータ） (2022-11-07T14:52:58Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳（メタデータ） (2022-03-31T10:36:50Z) - Estimating Divergences in High Dimensions [6.172809837529207]
本研究では,高次元データにおける分散度推定のための分解可能なモデルを提案する。
これにより、高次元分布の推定密度を低次元関数の積に分解することができる。
最大極大推定器から分解可能なモデルを用いてクルバック・リーブラーの発散を推定すると,既存の発散推定法よりも優れることを示す。
論文 参考訳（メタデータ） (2021-12-08T20:37:28Z) - Efficient Multidimensional Functional Data Analysis Using Marginal
Product Basis Systems [2.4554686192257424]
多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。
本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。
我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
論文 参考訳（メタデータ） (2021-07-30T16:02:15Z) - Intrinsic Dimension Estimation [92.87600241234344]
内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。
次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
論文 参考訳（メタデータ） (2021-06-08T00:05:39Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳（メタデータ） (2020-10-08T07:22:16Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。