論文の概要: The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes
- arxiv url: http://arxiv.org/abs/2212.04631v2
- Date: Mon, 22 Jan 2024 23:32:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 20:05:57.494278
- Title: The Normalized Cross Density Functional: A Framework to Quantify
Statistical Dependence for Random Processes
- Title（参考訳）: 正規化クロス密度汎関数:確率過程の統計的依存性を定量化する枠組み
- Authors: Bo Hu and Jose C. Principe
- Abstract要約: Alfr'ed R'enyiにインスパイアされた機能的方法論を用いて、2つの連続乱数過程(r.p.)間の統計的依存の新たな定義を提案する。
入力サンプルペアの結合確率密度のそれぞれに適用される交互共分散推定(ACE)再帰の最大化は、Renyiの最大相関のすべての特性に従うことを示す。
提案した関数最大相関アルゴリズム(FMCA)は、2つのニューラルネットワークから構築された機械学習アーキテクチャに適用され、互いに出力を近似することで同時に学習する。
- 参考スコア（独自算出の注目度）: 6.625320950808605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel multivariate definition of statistical dependence
between two continuous random processes (r.p.) using a functional methodology
inspired by Alfr\'ed R\'enyi. The argument of the logarithm of mutual
information between pairs of samples of a r.p., named here the normalized cross
density (NCD), defines a symmetric and self-adjoint positive definite function.
We show that maximizing the alternating covariance estimation (ACE) recursion,
applied to each of the joint probability density of input sample pairs, obeys
all the properties of Renyi's maximal correlation. We propose the NCD's
eigenspectrum as a novel multivariate measure of the statistical dependence
between the input and output r.p.
The multivariate statistical dependence can also be estimated directly from
r.p. realizations. The proposed functional maximum correlation algorithm (FMCA)
is applied to a machine learning architecture built from two neural networks
that learn concurrently by approximating each others' outputs. We prove that
the FMCA optimal solution is an equilibrium point that estimates the
eigenspectrum of the cross density kernel. Preliminary results with synthetic
data and medium size image datasets corroborate the theory. Four different
strategies of applying the cross density kernel are proposed and thoroughly
discussed to show the versatility and stability of the methodology, which
transcends supervised learning. More specifically, when the two random
processes are high-dimensional real-world images and a white uniform noise
process, the algorithm learns a factorial code i.e., the occurrence of a code
guarantees that a certain input in the training image set was present, which is
quite important for feature learning.
- Abstract（参考訳）: 本稿では,Alfr\'ed R\'enyi にインスパイアされた機能的方法論を用いて,2つの連続乱数過程(r.p.)間の統計的依存の多変量定義を提案する。
ここで正規化交叉密度 (ncd) と呼ばれる r.p. の対のサンプル間の相互情報の対数の議論は、対称かつ自己随伴な正定値関数を定義する。
入力サンプルペアの結合確率密度のそれぞれに適用される交互共分散推定(ACE)再帰の最大化は、Renyiの最大相関のすべての特性に従うことを示す。
我々は、入力と出力r.pの間の統計的依存の新たな多変量尺度として、NCDの固有スペクトルを提案する。
提案した関数最大相関アルゴリズム(FMCA)は、2つのニューラルネットワークから構築された機械学習アーキテクチャに適用され、互いに出力を近似することで同時に学習する。
FMCA最適解は、クロス密度カーネルの固有スペクトルを推定する平衡点であることを示す。
合成データと中規模の画像データセットによる予備的な結果が理論を裏付ける。
クロス密度カーネルを適用する4つの異なる戦略が提案され、教師あり学習を超越した方法論の汎用性と安定性を示すために徹底的に議論された。
より具体的には、2つのランダムプロセスが高次元実世界画像と白色一様ノイズ処理である場合、アルゴリズムは、訓練画像セットに特定の入力が存在することを保証し、機能学習にとって非常に重要な因子コード(すなわち、コードの発生)を学習する。
関連論文リスト
- Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
時間差差(TD)学習は、おそらく政策評価に最も広く使用されるものであり、この目的の自然な枠組みとして機能する。
本稿では,Polyak-Ruppert平均化と線形関数近似によるTD学習の整合性について検討し,既存の結果よりも3つの重要な改善点を得た。
論文 参考訳（メタデータ） (2024-10-21T15:34:44Z) - MEP: Multiple Kernel Learning Enhancing Relative Positional Encoding Length Extrapolation [5.298814565953444]
相対的な位置符号化法は、単一のカーネル関数を実装することで、長さ外挿問題に対処する。
本研究では,異なるカーネル関数を結合する重み付き平均を用いた,MEPと呼ばれる新しい相対的位置符号化手法を提案する。
我々は,新しい学習可能なパラメータを必要としないパラメータフリー変種と,最先端技術を統合することのできるパラメータ化変種という,2つの異なる方法を提案する。
論文 参考訳（メタデータ） (2024-03-26T13:38:06Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - Max-Sliced Mutual Information [17.667315953598788]
高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。
2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。
本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
論文 参考訳（メタデータ） (2023-09-28T06:49:25Z) - The Normal Distributions Indistinguishability Spectrum and its Application to Privacy-Preserving Machine Learning [7.61316504036937]
差分プライバシーは、プライバシに敏感なデータに対する機械学習(ML)の最も一般的な方法である。
ビッグデータ分析では、ランダム化されたスケッチ/アグリゲーションアルゴリズムを使用して、高次元データの処理を可能にすることが多い。
論文 参考訳（メタデータ） (2023-09-03T19:07:31Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Post-Regularization Confidence Bands for Ordinary Differential Equations [6.3582148777824115]
我々は、未知の機能とノイズの多いデータ観測を備えたODEにおける個々の規制機能に対する信頼バンドを構築した。
構築された信頼バンドはカーネルのカバレッジ確率が所望であることを示し、回復した規制ネットワークは1つに傾向のある真理に近づいた。
論文 参考訳（メタデータ） (2021-10-24T19:21:10Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-06-18T08:33:45Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳（メタデータ） (2020-08-16T16:34:33Z) - Reciprocal Adversarial Learning via Characteristic Functions [12.961770002117142]
GAN(Generative Adversarial Nets)は、複雑な分散を伴うタスクに好まれるツールである。
特徴関数(CF)を用いて分布を時間ではなく時間的に比較する方法を示す。
次に、逆数が存在する場合の埋め込み領域とデータ領域の等価性を証明し、自動エンコーダ構造で自然にGANを開発する。
この効率的な構造は、単純なトレーニング戦略とともに2つのモジュールのみを使用して、双方向で鮮明な画像を生成する。
論文 参考訳（メタデータ） (2020-06-15T14:04:55Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳（メタデータ） (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。