論文の概要: Sparse Priors for Efficient Distribution Learning

• arxiv url: http://arxiv.org/abs/2609.20883v1
• Date: Wed, 16 Sep 2026 21:13:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.732383
• Title: Sparse Priors for Efficient Distribution Learning
• Title（参考訳）: 効率的な分散学習のためのスパース事前
• Abstract要約: 先行の類を導入し、「スパース次元」をすべての分布の空間上の前者の空間の空間の空間性の尺度として定義する。 我々は,$k$-sparse 以前の分布学習がベイズリスクを$(sqrtk/n)$以下に抑えることを示す。
• 参考スコア（独自算出の注目度）: 5.122073435974076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the widespread use and success of generative AI techniques today, theoretical guarantees on learning a distribution supported in $d$ dimensions from $n$ samples degrade as $O(n^{-1/Θ(d)})$, though shown to be minimax optimal. We hypothesize that present bounds are too pessimistic because smoothness assumptions are not enough to capture the structure of distributions that often appear in real applications. Consequently, we introduce the class of sparse priors and define the "Sparse Dimension" as a measure of sparsity of a prior over the space of all distributions. We show that distribution learning under a $k$-sparse prior achieves a Bayesian risk lower bound of $Ω(\sqrt{k/n})$ under common distance metrics, and show a matching (up to logarithmic terms asymptotically in $n,k$) upper bound for the TV distance under mild additional assumptions. We show the statistical equivalence of distribution learning and learning to sample in the Bayesian setting so that our results apply to learning to sample as well. While $k$ can still depend on the dimension $d$, or a notion of intrinsic dimension, our results show that learning under an appropriate prior overcomes the curse of dimensionality with respect to the dependence on $n$.
• Abstract（参考訳）: 今日の生成AI技術の普及と成功にもかかわらず、$n$サンプルから$d$の次元でサポートされたディストリビューションを学習する理論的保証は、$O(n^{-1/\(d)})$として分解されるが、最小限の最適化であることが示されている。 我々は、現在の境界が悲観的すぎるという仮説を立てる。なぜなら、滑らかさの仮定は、実アプリケーションでしばしば現れる分布の構造を捉えるのに十分ではないからである。 したがって、スパース事前のクラスを導入し、「スパース次元」を全分布の空間上の事前の空間の間隔の尺度として定義する。 我々は、$k$-sparse 以前の分布学習が、共通距離の測度で$Ω(\sqrt{k/n})$のベイズリスクの低い境界を達成し、わずかに追加の仮定の下でテレビ距離に対するマッチング(対数項の漸近的な$n,k$)を示す。 ベイジアン・セッティングにおける分布学習と学習の統計的等価性を示し、その結果をサンプルにも適用した。 k$は、いまだに$d$や本質的な次元の概念に依存することができるが、我々の結果は、n$への依存に関して、適切な事前の学習が次元性の呪いを克服していることを示している。

関連論文リスト

• On the Learning Curves of Revenue Maximization [62.087200798198786]
  学習曲線は、トレーニングサンプル数の関数として、固定された基礎分布に対するアルゴリズムの誤差の減衰をプロットする。 収益を最大化する学習アルゴリズムに関する先行研究は、学習理論におけるPAC学習フレームワークと並行して、分散のない視点を採用する。 ベイズ一貫性アルゴリズムが存在し、任意の評価分布に対して学習曲線が0に収束することを示す。
  論文  参考訳（メタデータ） (2026-04-29T17:38:25Z)
• Generalization Properties of Score-matching Diffusion Models for Intrinsically Low-dimensional Data [32.72306410557258]
  有限個のサンプルから未知分布の$$を学習するためのスコアベース拡散モデルの統計的収束について検討する。 以上の結果から,拡散モデルがデータ固有の幾何学に自然に適応していることが示唆された。 我々の理論は, 拡散モデルの解析を, GANと最適輸送で確立された急激なミニマックス速度で橋渡しするものである。
  論文  参考訳（メタデータ） (2026-03-04T03:59:02Z)
• Robust Mean Estimation Without Moments for Symmetric Distributions [7.105512316884493]
  大規模な対称分布に対して、ガウス的設定と同じ誤差を効率的に達成できることが示される。 この最適誤差にアプローチする効率的なアルゴリズムの列を提案する。 我々のアルゴリズムは、よく知られたフィルタリング手法の一般化に基づいている。
  論文  参考訳（メタデータ） (2023-02-21T17:52:23Z)
• Estimating Optimal Policy Value in General Linear Contextual Bandits [50.008542459050155]
  多くのバンドイット問題において、政策によって達成可能な最大報酬は、前もって不明であることが多い。 我々は,最適政策が学習される前に,サブ線形データ構造における最適政策値を推定する問題を考察する。 V*$で問題依存上界を推定する,より実用的で効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-19T01:09:24Z)
• The Sample Complexity of Approximate Rejection Sampling with Applications to Smoothed Online Learning [29.44582058149344]
  n$ の関数としての最適総変分距離が $tildeTheta(fracDf'(n))$ によって与えられることを示す。 次に、スムーズなオンライン学習という非常に異なる分野のアプリケーションを検討します。
  論文  参考訳（メタデータ） (2023-02-09T14:20:14Z)
• Differentially-Private Bayes Consistency [70.92545332158217]
  差分プライバシー(DP)を満たすベイズ一貫した学習ルールを構築する。 ほぼ最適なサンプル複雑性を持つ半教師付き環境で,任意のVCクラスをプライベートに学習できることを実証する。
  論文  参考訳（メタデータ） (2022-12-08T11:57:30Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。