論文の概要: The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes
- arxiv url: http://arxiv.org/abs/2212.04631v3
- Date: Tue, 20 Feb 2024 23:47:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 21:46:05.087968
- Title: The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes
- Title（参考訳）: 正規化クロス密度汎関数:確率過程の統計的依存性を定量化する枠組み
- Authors: Bo Hu and Jose C. Principe
- Abstract要約: 正規化クロス密度(NCD)と呼ばれる正定関数を用いて、2つのランダムプロセス(r.p.)間の統計的依存を測定する新しい手法を提案する。
NCDは2つのr.p.の確率密度関数から直接導出され、データ依存ヒルベルト空間、正規化クロス密度ヒルベルト空間(NCD-HS)を構成する。
我々は,FMCAがNCDの固有値と固有関数を直接実現したことを数学的に証明する。
- 参考スコア（独自算出の注目度）: 6.625320950808605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel approach to measuring statistical dependence
between two random processes (r.p.) using a positive-definite function called
the Normalized Cross Density (NCD). NCD is derived directly from the
probability density functions of two r.p. and constructs a data-dependent
Hilbert space, the Normalized Cross-Density Hilbert Space (NCD-HS). By Mercer's
Theorem, the NCD norm can be decomposed into its eigenspectrum, which we name
the Multivariate Statistical Dependence (MSD) measure, and their sum, the Total
Dependence Measure (TSD). Hence, the NCD-HS eigenfunctions serve as a novel
embedded feature space, suitable for quantifying r.p. statistical dependence.
In order to apply NCD directly to r.p. realizations, we introduce an
architecture with two multiple-output neural networks, a cost function, and an
algorithm named the Functional Maximal Correlation Algorithm (FMCA). With FMCA,
the two networks learn concurrently by approximating each other's outputs,
extending the Alternating Conditional Expectation (ACE) for multivariate
functions. We mathematically prove that FMCA learns the dominant eigenvalues
and eigenfunctions of NCD directly from realizations. Preliminary results with
synthetic data and medium-sized image datasets corroborate the theory.
Different strategies for applying NCD are proposed and discussed, demonstrating
the method's versatility and stability beyond supervised learning.
Specifically, when the two r.p. are high-dimensional real-world images and a
white uniform noise process, FMCA learns factorial codes, i.e., the occurrence
of a code guarantees that a specific training set image was present, which is
important for feature learning.
- Abstract（参考訳）: 本稿では、正規化クロス密度(NCD)と呼ばれる正定関数を用いて、2つのランダムプロセス(r.p.)間の統計的依存を測定する新しい手法を提案する。
NCDは2つのr.p.の確率密度関数から直接導出され、データ依存ヒルベルト空間、正規化クロス密度ヒルベルト空間(NCD-HS)を構成する。
マーサーの定理により、NCDノルムは固有スペクトルに分解され、多変量統計依存度(MSD)とそれらの和であるトータル依存度(TSD)と命名される。
したがって、NCD-HS固有関数は、r.p.統計依存の定量化に適した新しい埋め込み特徴空間として機能する。
NCDをr.p.実現に直接適用するために,2つのマルチ出力ニューラルネットワーク,コスト関数,関数最大相関アルゴリズム(FMCA)というアルゴリズムを導入したアーキテクチャを導入する。
FMCAでは、2つのネットワークが互いに出力を近似することで同時に学習し、多変量関数の交互条件期待(ACE)を拡張する。
我々は,FMCAがNCDの固有値と固有関数を直接実現したことを数学的に証明する。
合成データと中規模の画像データセットによる予備的な結果が理論を裏付ける。
NCDを適用するための様々な戦略が提案され、教師付き学習を超えた手法の汎用性と安定性を示す。
具体的には、2つのr.p.が高次元実世界画像と白色一様ノイズ処理である場合、fmcaは因子符号、すなわちコードの発生によって特定のトレーニングセット画像が存在することが保証される。
関連論文リスト
- Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。
本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文 参考訳（メタデータ） (2024-10-21T15:34:44Z) - MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation [5.298814565953444]
相対的な位置符号化法は、単一のカーネル関数を実装することで、長さ外挿問題に対処する。
本研究では,異なるカーネル関数を結合する重み付き平均を用いた,MEPと呼ばれる新しい相対的位置符号化手法を提案する。
我々は,新しい学習可能なパラメータを必要としないパラメータフリー変種と,最先端技術を統合することのできるパラメータ化変種という,2つの異なる方法を提案する。
論文 参考訳（メタデータ） (2024-03-26T13:38:06Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - Max-Sliced Mutual Information [17.667315953598788]
高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。
2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。
本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
論文 参考訳（メタデータ） (2023-09-28T06:49:25Z) - The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning [7.61316504036937]
差分プライバシーは、プライバシに敏感なデータに対する機械学習(ML)の最も一般的な方法である。
ビッグデータ分析では、ランダム化されたスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
論文 参考訳（メタデータ） (2023-09-03T19:07:31Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Post-Regularization Confidence Bands for Ordinary Differential Equations [6.3582148777824115]
我々は、未知の機能とノイズの多いデータ観測を備えたODEにおける個々の規制機能に対する信頼バンドを構築した。
構築された信頼バンドはカーネルのカバレッジ確率が所望であることを示し、回復した規制ネットワークは1つに傾向のある真理に近づいた。
論文 参考訳（メタデータ） (2021-10-24T19:21:10Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-06-18T08:33:45Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳（メタデータ） (2020-08-16T16:34:33Z) - Reciprocal Adversarial Learning via Characteristic Functions [12.961770002117142]
GAN(Generative Adversarial Nets)は、複雑な分散を伴うタスクに好まれるツールである。
特徴関数(CF)を用いて分布を時間ではなく時間的に比較する方法を示す。
次に、逆数が存在する場合の埋め込み領域とデータ領域の等価性を証明し、自動エンコーダ構造で自然にGANを開発する。
この効率的な構造は、単純なトレーニング戦略とともに2つのモジュールのみを使用して、双方向で鮮明な画像を生成する。
論文 参考訳（メタデータ） (2020-06-15T14:04:55Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。