論文の概要: Divergences induced by dual subtractive and divisive normalizations of
exponential families and their convex deformations
- arxiv url: http://arxiv.org/abs/2312.12849v2
- Date: Thu, 18 Jan 2024 00:39:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 19:21:13.942069
- Title: Divergences induced by dual subtractive and divisive normalizations of
exponential families and their convex deformations
- Title（参考訳）: 指数関数族の双対減算と分割正規化による発散とその凸変形
- Authors: Frank Nielsen
- Abstract要約: 指数関数の確率密度間のスキュード・バタチャリヤ距離は累積関数によって誘導されるスキュード・ジェンセン発散量であることを示す。
次に、擬算術的手段の対に対する比較凸性は、凸函数とそれらの引数の両方を変形させることができることを示す。
- 参考スコア（独自算出の注目度）: 7.070726553564701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exponential families are statistical models which are the workhorses in
statistics, information theory, and machine learning among others. An
exponential family can either be normalized subtractively by its cumulant or
free energy function or equivalently normalized divisively by its partition
function. Both subtractive and divisive normalizers are strictly convex and
smooth functions inducing pairs of Bregman and Jensen divergences. It is
well-known that skewed Bhattacharryya distances between probability densities
of an exponential family amounts to skewed Jensen divergences induced by the
cumulant function between their corresponding natural parameters, and in limit
cases that the sided Kullback-Leibler divergences amount to reverse-sided
Bregman divergences. In this paper, we first show that the $\alpha$-divergences
between unnormalized densities of an exponential family amounts to scaled
$\alpha$-skewed Jensen divergences induced by the partition function. We then
show how comparative convexity with respect to a pair of quasi-arithmetic means
allows to deform both convex functions and their arguments, and thereby define
dually flat spaces with corresponding divergences when ordinary convexity is
preserved.
- Abstract（参考訳）: 指数関数系は統計学、情報理論、機械学習などのワークホースである統計モデルである。
指数関数族は、積あるいは自由エネルギー関数によって減算的に正規化されるか、分割関数によって同値に正規化される。
減算正規化子と除算正規化子は、ブレグマンとジェンセンの発散を誘導する厳密に凸かつ滑らかな関数である。
指数族における確率密度間のスキュード・バタチャリヤ距離が、対応する自然パラメータ間の累積関数によって誘導されるスキュード・ジェンセン発散量と、一方のクルバック・リーブラー発散数が逆側ブレグマン発散量とに等しいことが知られている。
本稿では,指数関数の非正規化密度間の$\alpha$-divergencesが,分割関数によって誘導される$\alpha$-skewed Jensenの発散をスケールすることを示した。
すると、一対の擬算術的手段に対する相対凸性は、凸関数とその引数の両方を変形させ、通常の凸性が保存されたときに対応する発散を持つ双平面空間を定義できることを示す。
関連論文リスト
- Unbiased Estimating Equation on Inverse Divergence and Its Conditions [0.10742675209112622]
本稿では、逆発散(英語版)と呼ばれる相互関数によって定義されるブレグマン発散(英語版)に焦点を当てる。
単調に増大する関数 $f$ と逆発散によって定義される損失関数に対して、推定方程式が偏りのない統計モデルと関数 $f$ の条件を明確にする。
論文 参考訳（メタデータ） (2024-04-25T11:22:48Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Causal Modeling with Stationary Diffusions [89.94899196106223]
定常密度が干渉下でのシステムの挙動をモデル化する微分方程式を学習する。
古典的アプローチよりもよく、変数に対する見当たらない介入を一般化することを示します。
提案手法は,再生カーネルヒルベルト空間における拡散発生器の定常状態を表す新しい理論結果に基づく。
論文 参考訳（メタデータ） (2023-10-26T14:01:17Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - On the Kullback-Leibler divergence between pairwise isotropic
Gaussian-Markov random fields [93.35534658875731]
2つの対の等方性ガウス-マルコフ確率場間のクルバック-リーブラ分散の式を導出する。
提案した方程式は、画像処理と機械学習の応用において、新しい類似度尺度の開発を可能にする。
論文 参考訳（メタデータ） (2022-03-24T16:37:24Z) - An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。
intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。
レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文 参考訳（メタデータ） (2022-01-29T02:14:24Z) - Decoherence factor as a convolution: an interplay between a Gaussian and
an exponential coherence loss [3.800391908440439]
このデコヒーレンス因子はガウス関数と指数関数の畳み込みによって記述できることを示す。
このメカニズムはスピンバスモデルと量子ブラウン運動の2つのパラダイム的なデコヒーレンスの例で実証されている。
論文 参考訳（メタデータ） (2021-10-18T16:55:16Z) - Equivalence of Convergence Rates of Posterior Distributions and Bayes
Estimators for Functions and Nonparametric Functionals [4.375582647111708]
非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。
カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。
我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
論文 参考訳（メタデータ） (2020-11-27T19:11:56Z) - Optimal Bounds between $f$-Divergences and Integral Probability Metrics [8.401473551081748]
確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。
両家系の関係を凸双対性の観点から体系的に研究する。
我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
論文 参考訳（メタデータ） (2020-06-10T17:39:11Z) - Cumulant-free closed-form formulas for some common (dis)similarities
between densities of an exponential family [38.13659821903422]
本研究では、累積関数の明示的使用を回避した(dis)相似性公式を報告する。
提案手法では, 指数関数列の密度を部分的に分解するだけでよい。
論文 参考訳（メタデータ） (2020-03-05T07:46:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。