論文の概要: Divergences induced by dual subtractive and divisive normalizations of
exponential families and their convex deformations
- arxiv url: http://arxiv.org/abs/2312.12849v1
- Date: Wed, 20 Dec 2023 08:59:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 16:13:33.270048
- Title: Divergences induced by dual subtractive and divisive normalizations of
exponential families and their convex deformations
- Title（参考訳）: 指数関数族の双対減算と分割正規化による発散とその凸変形
- Authors: Frank Nielsen
- Abstract要約: 指数関数の確率密度間のスキュード・バタチャリヤ距離は累積関数によって誘導されるスキュード・ジェンセン発散量であることを示す。
次に、擬算術的手段の対に対する相対凸性によって凸函数が変形し、通常の凸性が保存されるときに対応する発散を伴う双対平坦空間が定義されるかを示す。
- 参考スコア（独自算出の注目度）: 7.070726553564701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exponential families are statistical models which are the workhorses in
statistics, information theory, and machine learning. An exponential family can
either be normalized subtractively by its cumulant function or equivalently
normalized divisively by its partition function. Both subtractive and divisive
normalizers are strictly convex and smooth functions inducing pairs of Bregman
and Jensen divergences. It is well-known that skewed Bhattacharryya distances
between probability densities of an exponential family amounts to skewed Jensen
divergences induced by the cumulant function between their corresponding
natural parameters, and in limit cases that the sided Kullback-Leibler
divergences amount to reverse-sided Bregman divergences. In this note, we first
show that the $\alpha$-divergences between unnormalized densities of an
exponential family amounts scaled $\alpha$-skewed Jensen divergences induced by
the partition function. We then show how comparative convexity with respect to
a pair of quasi-arithmetic means allows to deform convex functions and define
dually flat spaces with corresponding divergences when ordinary convexity is
preserved.
- Abstract（参考訳）: 指数関数系は統計学、情報理論、機械学習におけるワークホースである統計モデルである。
指数関数族はその累積関数によって減算的に正規化されるか、分割関数によって同値に正規化される。
減算正規化子と除算正規化子は、ブレグマンとジェンセンの発散を誘導する厳密に凸かつ滑らかな関数である。
指数族における確率密度間のスキュード・バタチャリヤ距離が、対応する自然パラメータ間の累積関数によって誘導されるスキュード・ジェンセン発散量と、一方のクルバック・リーブラー発散数が逆側ブレグマン発散量とに等しいことが知られている。
本報告では, 指数関数の非正規化密度間の$\alpha$-divergences が分割関数によって引き起こされる$\alpha$-skewed jensen divergences であることを示す。
次に、擬有界な一対の手段に対する比較凸性が凸函数を変形させ、通常の凸性が保存されたときに対応する発散を持つ双対平坦空間を定義できることを示す。
関連論文リスト
- Unbiased Estimating Equation on Inverse Divergence and Its Conditions [0.10742675209112622]
本稿では、逆発散(英語版)と呼ばれる相互関数によって定義されるブレグマン発散(英語版)に焦点を当てる。
単調に増大する関数 $f$ と逆発散によって定義される損失関数に対して、推定方程式が偏りのない統計モデルと関数 $f$ の条件を明確にする。
論文 参考訳（メタデータ） (2024-04-25T11:22:48Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳（メタデータ） (2023-10-26T14:01:17Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - On the Kullback-Leibler divergence between pairwise isotropic
Gaussian-Markov random fields [93.35534658875731]
2つの対の等方性ガウス-マルコフ確率場間のクルバック-リーブラ分散の式を導出する。
提案した方程式は、画像処理と機械学習の応用において、新しい類似度尺度の開発を可能にする。
論文 参考訳（メタデータ） (2022-03-24T16:37:24Z) - An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。
intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。
レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文 参考訳（メタデータ） (2022-01-29T02:14:24Z) - Decoherence factor as a convolution: an interplay between a Gaussian and
an exponential coherence loss [3.800391908440439]
このデコヒーレンス因子はガウス関数と指数関数の畳み込みによって記述できることを示す。
このメカニズムはスピンバスモデルと量子ブラウン運動の2つのパラダイム的なデコヒーレンスの例で実証されている。
論文 参考訳（メタデータ） (2021-10-18T16:55:16Z) - Equivalence of Convergence Rates of Posterior Distributions and Bayes
Estimators for Functions and Nonparametric Functionals [4.375582647111708]
非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。
カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。
我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
論文 参考訳（メタデータ） (2020-11-27T19:11:56Z) - Optimal Bounds between $f$-Divergences and Integral Probability Metrics [8.401473551081748]
確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。
両家系の関係を凸双対性の観点から体系的に研究する。
我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
論文 参考訳（メタデータ） (2020-06-10T17:39:11Z) - Cumulant-free closed-form formulas for some common (dis)similarities
between densities of an exponential family [38.13659821903422]
本研究では、累積関数の明示的使用を回避した(dis)相似性公式を報告する。
提案手法では, 指数関数列の密度を部分的に分解するだけでよい。
論文 参考訳（メタデータ） (2020-03-05T07:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。