論文の概要: Recovering Joint Probability of Discrete Random Variables from Pairwise
Marginals
- arxiv url: http://arxiv.org/abs/2006.16912v2
- Date: Sun, 11 Jul 2021 07:43:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 05:21:22.721348
- Title: Recovering Joint Probability of Discrete Random Variables from Pairwise
Marginals
- Title（参考訳）: Pairwise Marginalsによる離散ランダム変数の結合確率の復元
- Authors: Shahana Ibrahim, Xiao Fu
- Abstract要約: 確率変数(RV)の合同確率の学習は、統計信号処理と機械学習の基盤となる。
近年, 任意の数の RV の結合確率質量関数 (PMF) を3次元境界から復元する研究が提案されている。
正確に3次元の辺縁を推定することは、標本の複雑さの観点からもコストがかかる。
この研究は、ペアの辺りだけを用いて共同PMFを学習するための新しい枠組みを生み出した。
- 参考スコア（独自算出の注目度）: 22.77704627076251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning the joint probability of random variables (RVs) is the cornerstone
of statistical signal processing and machine learning. However, direct
nonparametric estimation for high-dimensional joint probability is in general
impossible, due to the curse of dimensionality. Recent work has proposed to
recover the joint probability mass function (PMF) of an arbitrary number of RVs
from three-dimensional marginals, leveraging the algebraic properties of
low-rank tensor decomposition and the (unknown) dependence among the RVs.
Nonetheless, accurately estimating three-dimensional marginals can still be
costly in terms of sample complexity, affecting the performance of this line of
work in practice in the sample-starved regime. Using three-dimensional
marginals also involves challenging tensor decomposition problems whose
tractability is unclear. This work puts forth a new framework for learning the
joint PMF using only pairwise marginals, which naturally enjoys a lower sample
complexity relative to the third-order ones. A coupled nonnegative matrix
factorization (CNMF) framework is developed, and its joint PMF recovery
guarantees under various conditions are analyzed. Our method also features a
Gram--Schmidt (GS)-like algorithm that exhibits competitive runtime
performance. The algorithm is shown to provably recover the joint PMF up to
bounded error in finite iterations, under reasonable conditions. It is also
shown that a recently proposed economical expectation maximization (EM)
algorithm guarantees to improve upon the GS-like algorithm's output, thereby
further lifting up the accuracy and efficiency. Real-data experiments are
employed to showcase the effectiveness.
- Abstract（参考訳）: 確率変数(RV)の合同確率の学習は、統計信号処理と機械学習の基盤となる。
しかし、高次元関節確率の直接的非パラメトリック推定は、一般に次元性の呪いのため不可能である。
最近の研究は、低ランクテンソル分解の代数的性質とRV間の(未知の)依存を利用して、任意の数のRVの結合確率質量関数(PMF)を3次元境界から復元することを提案した。
それでも、3次元のマージンを正確に推定することは、サンプルの複雑さの面ではコストがかかる可能性がある。
三次元境界を用いた場合、トラクタビリティが不明なテンソル分解問題にも挑戦する。
この研究は、ペアの辺縁のみを用いて共同PMFを学習するための新しい枠組みを提示し、これは自然に3次に比べて低いサンプル複雑性を享受する。
結合型非負行列分解(CNMF)フレームワークを開発し, 種々の条件下でのPMF回復保証について検討した。
また,Gram-Schmidt (GS) のようなアルゴリズムを用いて,競合する実行性能を示す。
このアルゴリズムは, 有限反復の有界誤差まで, 合理的な条件下で関節pmfを回復できることが示される。
また、最近提案された経済予測最大化(EM)アルゴリズムは、GSライクなアルゴリズムの出力を改善することを保証し、精度と効率をさらに高めることを示した。
実データ実験は有効性を示すために使用される。
関連論文リスト
- Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Triple Component Matrix Factorization: Untangling Global, Local, and Noisy Components [13.989390077752232]
ノイズの多いデータから特徴抽出の共通点と特異点の問題を解く。
問題の複雑な性質にもかかわらず、対応するKarushKuhn-Tuckerアルゴリズムを解くことでテイラー級数の特徴付けを行う。
ビデオセグメンテーションと異常検出の数値実験は、TCMFの優れた特徴抽出能力を浮き彫りにした。
論文 参考訳（メタデータ） (2024-03-21T14:41:12Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View
Tomography [58.60249163402822]
未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。
提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
論文 参考訳（メタデータ） (2022-07-06T21:40:59Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Information Theoretic Structured Generative Modeling [13.117829542251188]
構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。
この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。
予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
論文 参考訳（メタデータ） (2021-10-12T07:44:18Z) - Recovery of Joint Probability Distribution from one-way marginals: Low
rank Tensors and Random Projections [2.9929093132587763]
統合確率質量関数(PMF)推定は、基本的な機械学習問題である。
本研究では、トモグラフィーのアイデアを用いたPMF推定問題に、データのランダムな投影をリンクする。
一方向マージンからテンソルの因子を回復するための新しいアルゴリズムを提供し、様々な合成データセットと実世界のデータセットを横断してテストし、推定された分類モデル上でMAP推論を行う。
論文 参考訳（メタデータ） (2021-03-22T14:00:57Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳（メタデータ） (2020-08-07T08:22:26Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z) - The Heavy-Tail Phenomenon in SGD [7.366405857677226]
最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。
深層学習におけるSGDの行動に関する知見に分析結果を変換する。
論文 参考訳（メタデータ） (2020-06-08T16:43:56Z) - Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。
強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
論文 参考訳（メタデータ） (2020-03-05T19:56:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。