論文の概要: AQuaMaM: An Autoregressive, Quaternion Manifold Model for Rapidly
Estimating Complex SO(3) Distributions
- arxiv url: http://arxiv.org/abs/2301.08838v1
- Date: Sat, 21 Jan 2023 00:40:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 16:18:08.194379
- Title: AQuaMaM: An Autoregressive, Quaternion Manifold Model for Rapidly
Estimating Complex SO(3) Distributions
- Title（参考訳）: AQuaMaM: 複雑SO(3)分布の迅速推定のための自己回帰4次多様体モデル
- Authors: Michael A. Alcorn
- Abstract要約: AQuaMaMは、回転多様体上の複素分布を学習し、単一の前方通過におけるクエリローテーションの正確な確率を計算することができるニューラルネットワークである。
異なる回転で50,000のダイのデータセットでトレーニングされた場合、AQuaMaMはICPよりも14%高いテストログに到達する。
IPDFと比較すると、AQuaMaMはパラメータを24%少なくし、単一のGPUで52$times$高速な予測スループットを持ち、トレーニング中に同様の時間で収束する。
- 参考スコア（独自算出の注目度）: 0.6526824510982799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurately modeling complex, multimodal distributions is necessary for
optimal decision-making, but doing so for rotations in three-dimensions, i.e.,
the SO(3) group, is challenging due to the curvature of the rotation manifold.
The recently described implicit-PDF (IPDF) is a simple, elegant, and effective
approach for learning arbitrary distributions on SO(3) up to a given precision.
However, inference with IPDF requires $N$ forward passes through the network's
final multilayer perceptron (where $N$ places an upper bound on the likelihood
that can be calculated by the model), which is prohibitively slow for those
without the computational resources necessary to parallelize the queries. In
this paper, I introduce AQuaMaM, a neural network capable of both learning
complex distributions on the rotation manifold and calculating exact
likelihoods for query rotations in a single forward pass. Specifically, AQuaMaM
autoregressively models the projected components of unit quaternions as
mixtures of uniform distributions that partition their geometrically-restricted
domain of values. When trained on an "infinite" toy dataset with ambiguous
viewpoints, AQuaMaM rapidly converges to a sampling distribution closely
matching the true data distribution. In contrast, the sampling distribution for
IPDF dramatically diverges from the true data distribution, despite IPDF
approaching its theoretical minimum evaluation loss during training. When
trained on a constructed dataset of 500,000 renders of a die in different
rotations, AQuaMaM reaches a test log-likelihood 14% higher than IPDF. Further,
compared to IPDF, AQuaMaM uses 24% fewer parameters, has a prediction
throughput 52$\times$ faster on a single GPU, and converges in a similar amount
of time during training.
- Abstract（参考訳）: 複雑な多重モーダル分布の正確なモデル化は最適決定のために必要であるが、3次元の回転、すなわちSO(3) 群は回転多様体の曲率のために困難である。
最近記述された暗黙のpdf (ipdf) は、任意の分布を与えられた精度まで学習するための単純でエレガントで効果的なアプローチである。
しかし、ipdfによる推論では、ネットワークの最終多層パーセプトロン(モデルによって計算できる可能性の上限を$n$が設定する)を通過するために$n$が要求される。
本稿では, 回転多様体上の複素分布を学習し, 単一の前方通過における問合せ回転の精度を正確に算出できるニューラルネットワークであるAQuaMaMを紹介する。
具体的には、AQuaMaMは、単位四元数の射影成分を、幾何学的に制限された値領域を分割する一様分布の混合として自己回帰的にモデル化する。
あいまいな視点を持つ「無限」のおもちゃデータセットで訓練すると、AQuaMaMは真のデータ分布によく一致するサンプリング分布に急速に収束する。
対照的に、IPDFのサンプリング分布は、トレーニング中の理論的最小評価損失に近づいたにもかかわらず、真のデータ分布から劇的に離れている。
異なる回転で50,000のダイのデータセットでトレーニングされた場合、AQuaMaMはICPよりも14%高いテストログに到達する。
さらに、IPDFと比較して、AQuaMaMは24%少ないパラメータを使用し、単一のGPUで52$\times$高速な予測スループットを持ち、トレーニング中に同様の時間内に収束する。
関連論文リスト
- Improved Convergence Rate for Diffusion Probabilistic Models [7.237817437521988]
スコアベース拡散モデルは、機械学習と人工知能の分野で顕著な経験的性能を達成した。
多くの理論的な試みにもかかわらず、理論と実践の間には大きなギャップがある。
繰り返しの複雑性を$d2/3varepsilon-2/3$とすると、$d5/12varepsilon-1$よりよい。
我々の理論は、$varepsilon$-accurate score estimatesを許容し、ターゲット分布の対数共振を必要としない。
論文 参考訳（メタデータ） (2024-10-17T16:37:33Z) - Accelerating Diffusion Models with Parallel Sampling: Inference at Sub-Linear Time Complexity [11.71206628091551]
拡散モデルは、訓練と評価に費用がかかるため、拡散モデルの推論コストを削減することが大きな目標である。
並列サンプリング手法であるHh2024parallelを用いて拡散モデルを高速化する実験的な成功に触発されて,サンプリングプロセスを各ブロック内に並列化可能なPicard繰り返しを持つ$mathcalO(1)$ブロックに分割することを提案する。
我々の結果は、高速で効率的な高次元データサンプリングの可能性に光を当てた。
論文 参考訳（メタデータ） (2024-05-24T23:59:41Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Comparative Study of Coupling and Autoregressive Flows through Robust
Statistical Tests [0.0]
本稿では,アフィン型と有理2次型の両方において,カップリングと自己回帰流の詳細な比較を提案する。
本研究は,4～400の次元を増大させるマルチモーダルターゲット分布の集合に着目した。
以上の結果から,A-RQSアルゴリズムは精度とトレーニング速度の両面で際立っていることが示唆された。
論文 参考訳（メタデータ） (2023-02-23T13:34:01Z) - Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。
各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。
第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
論文 参考訳（メタデータ） (2023-02-18T09:24:15Z) - Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
観測結果からサンプリング分布を学習する4つの方法を提案する。
実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2023-02-02T15:50:21Z) - On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。
これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。
アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
論文 参考訳（メタデータ） (2022-10-22T19:07:26Z) - A machine learning approach to galaxy properties: joint redshift-stellar
mass probability distributions with Random Forest [0.0]
本稿では、ランダムフォレスト(RF)機械学習アルゴリズムを用いて、高精度な赤方偏移質量確率分布関数(PDF)が得られることを実証する。
我々はdark energy survey (des) とcosmos 2015カタログの赤方偏移と恒星質量の組合せを用いている。
精度に加えて、RFは非常に高速で、消費者コンピュータハードウェアでわずか$ 6$で数百万の銀河の合同PDFを計算することができます。
論文 参考訳（メタデータ） (2020-12-10T19:00:15Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z) - SURF: A Simple, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
SURFは分布を断片的に近似するアルゴリズムである。
実験では最先端のアルゴリズムよりも優れています。
論文 参考訳（メタデータ） (2020-02-22T01:03:33Z) - Gravitational-wave parameter estimation with autoregressive neural
network flows [0.0]
深部ニューラルネットワークを用いた重力波データから二元ブラックホール系のパラメータを高速に推定するための自己回帰正規化フローを導入する。
正規化フロー(英: normalizing flow)は、単純な確率分布からより複雑なものへの変換を誘導するために用いられるサンプル空間上の可逆写像である。
可変オートエンコーダフレームワークに自己回帰フローを組み込むことにより,より強力な潜在変数モデルを構築する。
論文 参考訳（メタデータ） (2020-02-18T15:44:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。