論文の概要: Unbiased Estimating Equation on Inverse Divergence and Its Conditions
- arxiv url: http://arxiv.org/abs/2404.16519v1
- Date: Thu, 25 Apr 2024 11:22:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 13:59:41.144665
- Title: Unbiased Estimating Equation on Inverse Divergence and Its Conditions
- Title(参考訳): 逆多元性に関する不偏推定方程式とその条件
- Authors: Masahiro Kobayashi, Kazuho Watanabe,
- Abstract要約: 本稿では、逆発散(英語版)と呼ばれる相互関数によって定義されるブレグマン発散(英語版)に焦点を当てる。
単調に増大する関数 $f$ と逆発散によって定義される損失関数に対して、推定方程式が偏りのない統計モデルと関数 $f$ の条件を明確にする。
- 参考スコア(独自算出の注目度): 0.10742675209112622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper focuses on the Bregman divergence defined by the reciprocal function, called the inverse divergence. For the loss function defined by the monotonically increasing function $f$ and inverse divergence, the conditions for the statistical model and function $f$ under which the estimating equation is unbiased are clarified. Specifically, we characterize two types of statistical models, an inverse Gaussian type and a mixture of generalized inverse Gaussian type distributions, to show that the conditions for the function $f$ are different for each model. We also define Bregman divergence as a linear sum over the dimensions of the inverse divergence and extend the results to the multi-dimensional case.
- Abstract(参考訳): 本稿では、逆発散(英語版)と呼ばれる相互関数によって定義されるブレグマン発散(英語版)に焦点を当てる。
単調に増大する関数 $f$ と逆発散によって定義される損失関数に対して、推定方程式が偏りのない統計モデルと関数 $f$ の条件を明確にする。
具体的には,2種類の統計モデル,逆ガウス型と一般化ガウス型分布の混合を特徴付け,各モデルに対して関数$f$の条件が異なることを示す。
また、逆発散の次元上の線型和としてブレグマン発散を定義し、結果を多次元の場合にまで拡張する。
関連論文リスト
- Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳(メタデータ) (2024-05-01T15:59:00Z) - Divergences induced by dual subtractive and divisive normalizations of
exponential families and their convex deformations [7.070726553564701]
指数関数の確率密度間のスキュード・バタチャリヤ距離は累積関数によって誘導されるスキュード・ジェンセン発散量であることを示す。
次に、擬算術的手段の対に対する比較凸性は、凸函数とそれらの引数の両方を変形させることができることを示す。
論文 参考訳(メタデータ) (2023-12-20T08:59:05Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - Understanding the bias-variance tradeoff of Bregman divergences [13.006468721874372]
本稿では,任意のブレグマン発散損失関数に対するバイアス分散トレードオフを一般化したPfau (2013) の業績に基づく。
ラベルと同様、中心予測は確率変数の平均と解釈でき、損失関数自身で定義される双対空間で平均が動作することを示す。
論文 参考訳(メタデータ) (2022-02-08T22:06:16Z) - An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。
intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。
レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文 参考訳(メタデータ) (2022-01-29T02:14:24Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - Covariance Prediction via Convex Optimization [0.0]
一般化線形モデルの形式を持つ共分散予測器,すなわち特徴のアフィン関数,および逆リンク関数を記述する。
log-likelihoodは予測パラメータの凹関数であるため、予測パラメータの適合には凸最適化が伴う。
論文 参考訳(メタデータ) (2021-01-29T06:06:58Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳(メタデータ) (2020-12-21T18:33:13Z) - Equivalence of Convergence Rates of Posterior Distributions and Bayes
Estimators for Functions and Nonparametric Functionals [4.375582647111708]
非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。
カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。
我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
論文 参考訳(メタデータ) (2020-11-27T19:11:56Z) - Unbiased Estimation Equation under $f$-Separable Bregman Distortion
Measures [0.3553493344868413]
単調に増大する関数$f$とブレグマン発散を用いた対象関数のクラスにおける非バイアス推定方程式について議論する。
関数 $f$ の選択は、外れ値に対するロバスト性のような望ましい性質を与える。
本研究では, バイアス補正項が消滅したブレグマン発散, 統計モデル, 関数$f$の組み合わせを明らかにする。
論文 参考訳(メタデータ) (2020-10-23T10:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。