論文の概要: Bayesian Learning via Q-Exponential Process
- arxiv url: http://arxiv.org/abs/2210.07987v2
- Date: Mon, 26 Jun 2023 19:37:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 17:55:56.910438
- Title: Bayesian Learning via Q-Exponential Process
- Title（参考訳）: Q-Exponential Processによるベイズ学習
- Authors: Shuyi Li, Michael O'Connor, and Shiwei Lan
- Abstract要約: 正規化は最適化、統計、機械学習における最も基本的なトピックの1つである。
この研究では、$q$-指数分布(密度比で)$exp(- half|q)$を、emph$Q$-指数(Q-EP)プロセスと呼ばれるプロセスに一般化する。
- 参考スコア（独自算出の注目度）: 5.811502603310248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Regularization is one of the most fundamental topics in optimization,
statistics and machine learning. To get sparsity in estimating a parameter
$u\in\mbR^d$, an $\ell_q$ penalty term, $\Vert u\Vert_q$, is usually added to
the objective function. What is the probabilistic distribution corresponding to
such $\ell_q$ penalty? What is the correct stochastic process corresponding to
$\Vert u\Vert_q$ when we model functions $u\in L^q$? This is important for
statistically modeling large dimensional objects, e.g. images, with penalty to
preserve certainty properties, e.g. edges in the image. In this work, we
generalize the $q$-exponential distribution (with density proportional to)
$\exp{(- \half|u|^q)}$ to a stochastic process named \emph{$Q$-exponential
(Q-EP) process} that corresponds to the $L_q$ regularization of functions. The
key step is to specify consistent multivariate $q$-exponential distributions by
choosing from a large family of elliptic contour distributions. The work is
closely related to Besov process which is usually defined by the expanded
series. Q-EP can be regarded as a definition of Besov process with explicit
probabilistic formulation and direct control on the correlation length. From
the Bayesian perspective, Q-EP provides a flexible prior on functions with
sharper penalty ($q<2$) than the commonly used Gaussian process (GP). We
compare GP, Besov and Q-EP in modeling functional data, reconstructing images,
and solving inverse problems and demonstrate the advantage of our proposed
methodology.
- Abstract（参考訳）: 正規化は最適化、統計、機械学習における最も基本的なトピックの1つである。
パラメータ $u\in\mbR^d$, $\ell_q$ のペナルティ項 $\Vert u\Vert_q$ を推定する場合、通常は目的関数に追加される。
そのような$\ell_q$のペナルティに対応する確率分布は?
モデル関数 $u\in L^q$ のとき、$\Vert u\Vert_q$ に対応する正しい確率過程は何ですか?
これは、画像のような大きな次元のオブジェクトを統計的にモデル化する上で重要であり、画像のエッジのような確実性を維持するためのペナルティがある。
本研究では、関数の$l_q$正規化に対応する確率過程 \emph{$q$-exponential (q-ep) process} に対して、(密度比例で)$\exp{(- \half|u|^q)}$ を一般化する。
鍵となるステップは、楕円輪郭分布の大きな族から選ぶことで、一貫した多変量$q$指数分布を定義することである。
この研究は通常拡大級数によって定義されるベソフ過程と密接に関連している。
Q-EPは、明確な確率的定式化と相関長の直接制御によるベソフ過程の定義とみなすことができる。
ベイズの観点からは、Q-EPは一般的に使用されるガウス過程(GP)よりも鋭いペナルティ(q<2$)を持つ関数に対して柔軟な事前を与える。
GP, Besov および Q-EP を機能データのモデリング, 画像再構成, 逆問題解決において比較し, 提案手法の利点を実証する。
関連論文リスト
- Transfer Q Star: Principled Decoding for LLM Alignment [105.89114186982972]
Transfer $Q*$は、ベースラインモデルを通してターゲット報酬$r$の最適値関数を推定する。
提案手法は, 従来のSoTA法で観測された準最適差を著しく低減する。
論文 参考訳（メタデータ） (2024-05-30T21:36:12Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Estimation and Inference in Distributional Reinforcement Learning [28.253677740976197]
サイズ$widetilde Oleft(frac|mathcalS||mathcalA|epsilon2 (1-gamma)4right)$ suffices to ensure the Kolmogorov metric and total variation metric between $hatetapi$ and $etapi$ is below $epsilon$ with high probability。
以上の結果から,多種多様な統計的汎関数の統計的推測への統一的アプローチがもたらされた。
論文 参考訳（メタデータ） (2023-09-29T14:14:53Z) - Differentiated uniformization: A new method for inferring Markov chains
on combinatorial state spaces including stochastic epidemic models [0.0]
我々は$partialexp!(tQ)theta$を計算するための類似アルゴリズムを提供する。
オーストリアでのCOVID-19パンデミックの第1波における毎月の感染と回復率を推定する。
論文 参考訳（メタデータ） (2021-12-21T03:59:06Z) - Reward-Free Model-Based Reinforcement Learning with Linear Function
Approximation [92.99933928528797]
エピソードマルコフ決定過程(MDP)に対する線形関数近似を用いたモデルに基づく無報酬強化学習について検討する。
計画段階では、特定の報酬関数が与えられ、探索フェーズから収集したサンプルを使用して良い政策を学ぶ。
任意の報酬関数に対して$epsilon$-optimal Policyを得るには,最大$tilde O(H4d(H + d)epsilon-2)$ episodesをサンプリングする必要がある。
論文 参考訳（メタデータ） (2021-10-12T23:03:58Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Sample-Efficient Reinforcement Learning for Linearly-Parameterized MDPs
with a Generative Model [3.749193647980305]
本稿では,一連の状態対応機能を有するマルコフ決定プロセス(MDP)について考察する。
モデルに基づくアプローチ(resp.$Q-learning)が、高い確率で$varepsilon$-Optimalポリシーを確実に学習することを示す。
論文 参考訳（メタデータ） (2021-05-28T17:49:39Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - $\pi$VAE: a stochastic process prior for Bayesian deep learning with
MCMC [2.4792948967354236]
先行符号化オートエンコーダ(pi$VAE)と呼ばれる新しい変分オートエンコーダを提案する。
本稿では,ガウス過程などの表現型関数クラスを正確に学習できるだけでなく,統計的推論を可能にする関数の性質も示す。
おそらく最も有用なのは、低次元分散潜在空間表現学習が、Stanのようなプログラミング言語内でプロセスの推論を行うエレガントでスケーラブルな手段を提供することを示すことである。
論文 参考訳（メタデータ） (2020-02-17T10:23:18Z) - Does generalization performance of $l^q$ regularization learning depend
on $q$? A negative example [19.945160684285003]
$lq$-regularizationは、機械学習と統計モデリングにおいて魅力的なテクニックであることが示されている。
0 infty$ に対するすべての $lq$ 推定子は、同様の一般化誤差境界が得られることを示す。
この発見は、あるモデリングの文脈において、$q$の選択が一般化能力に強い影響を与えることはないことを仮に示している。
論文 参考訳（メタデータ） (2013-07-25T00:48:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。