論文の概要: The Ray Tracing Sampler: Bayesian Sampling of Neural Networks for Everyone
- arxiv url: http://arxiv.org/abs/2510.25824v1
- Date: Wed, 29 Oct 2025 18:00:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-31 16:05:09.514434
- Title: The Ray Tracing Sampler: Bayesian Sampling of Neural Networks for Everyone
- Title(参考訳): レイトレーシング・サンプラー:ベイジアンによるニューラルネットワークのサンプリング
- Authors: Peter Behroozi,
- Abstract要約: 我々は、屈折率$n(x)$が所望の確率の関数である媒体において、次の光路に基づいてマルコフ連鎖モンテカルロサンプリングを導出する。
このサンプリング法はパラメータ空間を通じて一定の速度で光線を伝搬し、ハミルトンのモンテカルロと比較して、温度勾配に対する高いレジリエンスをもたらす。
従来のHMC, マイクロカノニカルHMC, メトロポリス, ギブズ, モンテカルロ統合などは, 一般化線トレーシングフレームワークの特別な場合であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We derive a Markov Chain Monte Carlo sampler based on following ray paths in a medium where the refractive index $n(x)$ is a function of the desired likelihood $\mathcal{L}(x)$. The sampling method propagates rays at constant speed through parameter space, leading to orders of magnitude higher resilience to heating for stochastic gradients as compared to Hamiltonian Monte Carlo (HMC), as well as the ability to cross any likelihood barrier, including holes in parameter space. Using the ray tracing method, we sample the posterior distributions of neural network outputs for a variety of different architectures, up to the 1.5 billion-parameter GPT-2 (Generative Pre-trained Transformer 2) architecture, all on a single consumer-level GPU. We also show that prior samplers including traditional HMC, microcanonical HMC, Metropolis, Gibbs, and even Monte Carlo integration are special cases within a generalized ray tracing framework, which can sample according to an arbitrary weighting function. Public code and documentation for C, JAX, and PyTorch are available at https://bitbucket.org/pbehroozi/ray-tracing-sampler/src
- Abstract(参考訳): 我々は、屈折率$n(x)$ が所望の確率 $\mathcal{L}(x)$ の関数である媒体の次の光路に基づいてマルコフ・チェイン・モンテカルロサンプリングを導出する。
このサンプリング法は、パラメータ空間を介して一定の速度で光線を伝搬し、ハミルトン・モンテカルロ (HMC) と比較して、確率勾配(英語版)の加熱に対する高いレジリエンスと、パラメータ空間の穴を含むあらゆる障壁を横断する能力をもたらす。
レイトレーシング手法を用いて,15億パラメータのGPT-2(Generative Pre-trained Transformer 2)アーキテクチャに至るまで,さまざまなアーキテクチャを対象としたニューラルネットワーク出力の後方分布を,すべて1つのコンシューマレベルのGPU上でサンプリングする。
また, 従来のHMC, マイクロカノニカルHMC, メトロポリス, ギブズ, モンテカルロ統合などは, 任意の重み付け関数に従ってサンプリングできる一般化線トレーシングフレームワークの特別な場合であることを示す。
C、JAX、PyTorchの公開コードとドキュメントはhttps://bitbucket.org/pbehroozi/ray-tracing-sampler/srcで入手できる。
関連論文リスト
- Neural Two-Level Monte Carlo Real-Time Rendering [4.64982780843177]
グローバル照明によるシーンのリアルタイムレンダリングのための効率的な2レベルモンテカルロ推定器を提案する。
まず、完全に融合した小さなニューラルネットワークのパワーを活用して、NIRC(Neural Incident Radiance Cache)を開発した。
残差積分については、NIRC予測と非バイアス経路追跡シミュレーションの差を計算する。
論文 参考訳(メタデータ) (2024-12-05T22:06:23Z) - Learning Radio Environments by Differentiable Ray Tracing [56.40113938833999]
本稿では, 材料特性, 散乱, アンテナパターンの微分パラメトリゼーションによって補う, 勾配式キャリブレーション法を提案する。
提案手法は,MIMO(分散マルチインプットマルチインプット・マルチアウトプット・チャネル・サウンドア)を用いて,合成データと実世界の屋内チャネル計測の両方を用いて検証した。
論文 参考訳(メタデータ) (2023-11-30T13:50:21Z) - Distributed Matrix-Based Sampling for Graph Neural Network Training [0.0]
本稿では,スパース行列乗算(SpGEMM)としてサンプリングを表現し,複数のミニバッチを同時にサンプリングする行列ベースバルクサンプリング手法を提案する。
入力グラフトポロジが1つのデバイスに収まらない場合、このグラフを分散し、通信回避型SpGEMMアルゴリズムを用いてGNNミニバッチサンプリングをスケールする。
新たなサンプリング方法に加えて,行列に基づくバルクサンプリング手法を用いて,エンドツーエンドのトレーニング結果を提供するパイプラインを導入する。
論文 参考訳(メタデータ) (2023-11-06T06:40:43Z) - Gibbs Sampling the Posterior of Neural Networks [0.0]
ニューラルネットワークから派生した後部からのサンプリングについて検討する。
ネットワーク内での事前および後活動毎にノイズを付加する新しい確率モデルを提案する。
小型モデルでは、ギブス・サンプルラーは最先端のマルコフ・チェーンであるモンテ・カルロと同様のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2023-06-05T09:26:38Z) - Provable and Practical: Efficient Exploration in Reinforcement Learning via Langevin Monte Carlo [104.9535542833054]
我々は、強化学習のためのトンプソンサンプリングに基づくスケーラブルで効果的な探索戦略を提案する。
代わりに、Langevin Monte Carlo を用いて、Q 関数をその後部分布から直接サンプリングする。
提案手法は,Atari57スイートからのいくつかの挑戦的な探索課題において,最先端の深部RLアルゴリズムと比較して,より優れた,あるいは類似した結果が得られる。
論文 参考訳(メタデータ) (2023-05-29T17:11:28Z) - Sionna RT: Differentiable Ray Tracing for Radio Propagation Modeling [65.17711407805756]
Sionnaは、リンクレベルのシミュレーションをベースとしたGPUアクセラレーションのオープンソースライブラリである。
リリース v0.14 以降、電波伝搬のシミュレーションのために微分可能なレイトレーサ (RT) を統合している。
論文 参考訳(メタデータ) (2023-03-20T13:40:11Z) - Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
クエーサースペクトルを完全に記述できる新しいモデルを提案する。
また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。
CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
論文 参考訳(メタデータ) (2022-11-17T13:01:26Z) - elhmc: An R Package for Hamiltonian Monte Carlo Sampling in Bayesian
Empirical Likelihood [0.0]
ハミルトニアン・カルロ法による経験的可能性ベース後部からのサンプルパッケージについて述べる。
MCMCサンプルは、パラメータのBayesEL後部から引き出され、ユーザによって様々な詳細が要求される。
論文 参考訳(メタデータ) (2022-09-02T22:22:16Z) - Gravitational-wave parameter estimation with autoregressive neural
network flows [0.0]
深部ニューラルネットワークを用いた重力波データから二元ブラックホール系のパラメータを高速に推定するための自己回帰正規化フローを導入する。
正規化フロー(英: normalizing flow)は、単純な確率分布からより複雑なものへの変換を誘導するために用いられるサンプル空間上の可逆写像である。
可変オートエンコーダフレームワークに自己回帰フローを組み込むことにより,より強力な潜在変数モデルを構築する。
論文 参考訳(メタデータ) (2020-02-18T15:44:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。