Fugu-MT 論文翻訳(概要): On the Convergence Rate of Gaussianization with Random Rotations

論文の概要: On the Convergence Rate of Gaussianization with Random Rotations

arxiv url: http://arxiv.org/abs/2306.13520v1
Date: Fri, 23 Jun 2023 14:35:39 GMT
ステータス: 処理完了
システム内更新日: 2023-06-26 12:26:28.371276
Title: On the Convergence Rate of Gaussianization with Random Rotations
Title（参考訳）: ランダム回転によるガウス化の収束速度について
Authors: Felix Draxler, Lars K\"uhmichel, Armand Rousselot, Jens M\"uller, Christoph Schn\"orr, Ullrich K\"othe
Abstract要約: 本稿では,必要な層数がガウス入力の次元と線形にスケールできることを解析的に示す。任意の入力$p(x)$に対して、同じ線形的なコスト増加が見つかるが、いくつかの分布に対して好意的なスケーリングが観察される。
参考スコア（独自算出の注目度）: 0.8081564951955755
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Gaussianization is a simple generative model that can be trained without backpropagation. It has shown compelling performance on low dimensional data. As the dimension increases, however, it has been observed that the convergence speed slows down. We show analytically that the number of required layers scales linearly with the dimension for Gaussian input. We argue that this is because the model is unable to capture dependencies between dimensions. Empirically, we find the same linear increase in cost for arbitrary input $p(x)$, but observe favorable scaling for some distributions. We explore potential speed-ups and formulate challenges for further research.
Abstract（参考訳）: ガウス化はバックプロパゲーションなしで訓練できる単純な生成モデルである。低次元データで有望な性能を示している。しかし、次元が大きくなるにつれて収束速度が遅くなることが観測されている。本稿では,必要な層数がガウス入力の次元と線形にスケールできることを解析的に示す。これはモデルが次元間の依存性をキャプチャできないためであると主張する。経験的に、任意の入力$p(x)$に対して同じ線形増加コストを求めるが、いくつかの分布に対して好ましいスケーリングを観察する。我々は、さらなる研究のために潜在的なスピードアップと課題を定式化する。

関連論文リスト

von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文参考訳（メタデータ） (2024-06-19T01:57:21Z)
Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文参考訳（メタデータ） (2024-06-12T17:53:29Z)
Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文参考訳（メタデータ） (2023-10-30T21:27:53Z)
Implicit Manifold Gaussian Process Regression [49.0787777751317]
ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
論文参考訳（メタデータ） (2023-10-30T09:52:48Z)
Gradient-Based Feature Learning under Structured Data [57.76552698981579]
異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
論文参考訳（メタデータ） (2023-09-07T16:55:50Z)
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文参考訳（メタデータ） (2023-06-05T21:08:34Z)
Precise Learning Curves and Higher-Order Scaling Limits for Dot Product Kernel Regression [41.48538038768993]
本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
論文参考訳（メタデータ） (2022-05-30T04:21:31Z)
Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
領域間変分ガウス過程(GP)の新たなクラスを導入する。我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
論文参考訳（メタデータ） (2020-06-30T10:19:32Z)
Linear-time inference for Gaussian Processes on one dimension [17.77516394591124]
本研究では,その線形スケーリング計算コストから,状態空間モデルが人気である1次元のサンプルデータについて検討する。状態空間モデルは一般であり、任意の1次元ガウス過程を近似できるという予想の最初の一般的な証明を提供する。 LEGモデルで推論と学習を行う並列アルゴリズムを開発し、実データおよび合成データ上でアルゴリズムをテストし、数十億のサンプルを持つデータセットへのスケーリングを実証する。
論文参考訳（メタデータ） (2020-03-11T23:20:13Z)
Randomly Projected Additive Gaussian Processes for Regression [37.367935314532154]
GPレグレッションにはカーネルの加算和を使用し、各カーネルはその入力の異なるランダムなプロジェクションで動作する。この収束とその速度を証明し、純粋にランダムな射影よりも早く収束する決定論的アプローチを提案する。
論文参考訳（メタデータ） (2019-12-30T07:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。