論文の概要: Machine Learning Trivializing Maps: A First Step Towards Understanding
How Flow-Based Samplers Scale Up
- arxiv url: http://arxiv.org/abs/2112.15532v1
- Date: Fri, 31 Dec 2021 16:17:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 15:45:27.295278
- Title: Machine Learning Trivializing Maps: A First Step Towards Understanding
How Flow-Based Samplers Scale Up
- Title（参考訳）: 機械学習によるマップの試行 - フローベースのサンプリングのスケールアップへの第一歩
- Authors: Luigi Del Debbio and Joe Marsh Rossney and Michael Wilson
- Abstract要約: 自明な写像の近似は、可逆で微分可能なモデルのクラスによって「機械学習」できることを示す。
最大202ドルの格子サイトを持つ2次元の$phi4$を用いて、探索的スケーリング研究を行う。
- 参考スコア（独自算出の注目度）: 0.6445605125467573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A trivializing map is a field transformation whose Jacobian determinant
exactly cancels the interaction terms in the action, providing a representation
of the theory in terms of a deterministic transformation of a distribution from
which sampling is trivial. Recently, a proof-of-principle study by Albergo,
Kanwar and Shanahan [arXiv:1904.12072] demonstrated that approximations of
trivializing maps can be `machine-learned' by a class of invertible,
differentiable neural models called \textit{normalizing flows}. By ensuring
that the Jacobian determinant can be computed efficiently, asymptotically exact
sampling from the theory of interest can be performed by drawing samples from a
simple distribution and passing them through the network. From a theoretical
perspective, this approach has the potential to become more efficient than
traditional Markov Chain Monte Carlo sampling techniques, where
autocorrelations severely diminish the sampling efficiency as one approaches
the continuum limit. A major caveat is that it is not yet understood how the
size of models and the cost of training them is expected to scale. As a first
step, we have conducted an exploratory scaling study using two-dimensional
$\phi^4$ with up to $20^2$ lattice sites. Although the scope of our study is
limited to a particular model architecture and training algorithm, initial
results paint an interesting picture in which training costs grow very quickly
indeed. We describe a candidate explanation for the poor scaling, and outline
our intentions to clarify the situation in future work.
- Abstract（参考訳）: 自明写像 (trivializing map) とは、ジャコビアン行列式が作用における相互作用項を正確に取り消し、サンプリングが自明な分布の決定論的変換という観点から理論の表現を提供する場変換である。
albergo, kanwar, shanahan [arxiv:1904.12072] による原理実証研究により、自明写像の近似は \textit{normalizing flow} と呼ばれる可逆可微分ニューラルネットワークのクラスによって「機械学習」できることが示された。
ヤコビ行列式を効率的に計算できることを保証することにより、簡単な分布からサンプルを描画してネットワークに渡すことで、関心理論からの漸近的に正確なサンプリングを行うことができる。
理論的には、このアプローチは従来のマルコフ連鎖モンテカルロサンプリング技術よりも効率的になる可能性があり、自己相関は連続体限界に近づくにつれてサンプリング効率を著しく低下させる。
大きな欠点は、モデルのサイズとトレーニングコストがスケールすると予想されているのか、まだ分かっていないことだ。
まず,2次元の$\phi^4$と最大20^2$の格子サイトを用いた探索的スケーリング調査を行った。
私たちの研究の範囲は特定のモデルアーキテクチャとトレーニングアルゴリズムに限定されているが、最初の結果はトレーニングコストが非常に速く増加する興味深い図を示している。
本稿では,スケーリングの貧弱さに対する候補的説明を述べるとともに,今後の作業状況を明らかにするための意図について概説する。
関連論文リスト
- Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。
本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。
提案手法の有効性を4つの標準ベンチマークで示す。
論文 参考訳（メタデータ） (2024-07-10T16:51:32Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳（メタデータ） (2023-09-03T00:21:37Z) - Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。
標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。
本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-20T09:31:35Z) - An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。
以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
論文 参考訳（メタデータ） (2022-12-02T18:46:41Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-25T14:00:18Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳（メタデータ） (2020-11-08T17:09:37Z) - The Boomerang Sampler [4.588028371034406]
本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。
提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
論文 参考訳（メタデータ） (2020-06-24T14:52:22Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。