論文の概要: The Monte Carlo Transformer: a stochastic self-attention model for
sequence prediction
- arxiv url: http://arxiv.org/abs/2007.08620v2
- Date: Tue, 15 Dec 2020 14:27:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 04:34:20.172686
- Title: The Monte Carlo Transformer: a stochastic self-attention model for
sequence prediction
- Title(参考訳): モンテカルロ変換器:シーケンス予測のための確率的自己アテンションモデル
- Authors: Alice Martin (CMAP, IP Paris, CITI, TIPIC-SAMOVAR), Charles Ollion
(CMAP), Florian Strub, Sylvain Le Corff (IP Paris, CITI, TIPIC-SAMOVAR),
Olivier Pietquin
- Abstract要約: ネットワークのキー、クエリ、値、アテンションベクトルは、その隠された構造の観測されていない状態と見なされる。
逐次モンテカルロ法を用いて、観測された状態の後方分布を近似し、ログの勾配を推定する。
- 参考スコア(独自算出の注目度): 19.815744837363546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces the Sequential Monte Carlo Transformer, an original
approach that naturally captures the observations distribution in a transformer
architecture. The keys, queries, values and attention vectors of the network
are considered as the unobserved stochastic states of its hidden structure.
This generative model is such that at each time step the received observation
is a random function of its past states in a given attention window. In this
general state-space setting, we use Sequential Monte Carlo methods to
approximate the posterior distributions of the states given the observations,
and to estimate the gradient of the log-likelihood. We hence propose a
generative model giving a predictive distribution, instead of a single-point
estimate.
- Abstract(参考訳): 本稿では,変圧器アーキテクチャにおける観測分布を自然にキャプチャする手法であるSequential Monte Carlo Transformerを紹介する。
ネットワークのキー、クエリ、値、アテンションベクトルは、その隠された構造の観測されていない確率状態と見なされる。
この生成モデルは、各時間ステップにおいて受信された観測が与えられた注意窓内の過去の状態のランダムな関数であるようなものである。
この一般的な状態空間設定では、Sequential Monte Carlo法を用いて、観測された状態の後方分布を近似し、ログのような勾配を推定する。
そこで我々は,単点推定ではなく,予測分布を与える生成モデルを提案する。
関連論文リスト
- Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳(メタデータ) (2024-03-03T04:21:21Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Approximate sampling and estimation of partition functions using neural
networks [0.0]
本研究では, 可変オートエンコーダ (VAE) をいかに応用できるかを示す。
論理を逆転させ、正規化まで特定された複雑で難解な潜在分布を仮定して、VAEを単純かつトラクタブルな分布に適合するように訓練する。
この手順は、トレーニングデータやマルコフ連鎖モンテカルロサンプリングを使わずに近似を構成する。
論文 参考訳(メタデータ) (2022-09-21T15:16:45Z) - Markov Observation Models [0.0]
隠れマルコフモデルが拡張され、マルコフ連鎖の観測が可能となった。
この観測は、隠れマルコフ鎖に依存する一段階の遷移確率を持つマルコフ連鎖であると仮定される。
隠れ状態と観測の両方の遷移確率を推定するために,期待最大化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-08-12T16:53:07Z) - B\'ezier Curve Gaussian Processes [8.11969931278838]
本稿では,確率的B'ezier曲線上に構築された新しい確率的シーケンスモデルを提案する。
混合密度ネットワークと組み合わせることで、平均場変動近似を必要とせずにベイズ条件推論を行うことができる。
このモデルは歩行者の軌跡予測に使われ、生成した予測はGP前でも機能する。
論文 参考訳(メタデータ) (2022-05-03T19:49:57Z) - An Energy-Based Prior for Generative Saliency [62.79775297611203]
本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。
生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。
実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
論文 参考訳(メタデータ) (2022-04-19T10:51:00Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳(メタデータ) (2022-04-02T06:32:19Z) - Gradient estimators for normalising flows [0.05156484100374058]
モンテカルロシミュレーションのための機械学習アプローチであるNeural Markov Chain Monte-Carloが注目を集めている。
計算を避けて、より複雑なアクションを持つモデルのトレーニングを高速化する別の勾配推定器を提案する。
また, 勾配推定器の統計特性について検討し, 定式化がより優れたトレーニング結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-02-02T22:37:58Z) - Modeling Sequences as Distributions with Uncertainty for Sequential
Recommendation [63.77513071533095]
既存のシーケンシャルメソッドの多くは、ユーザが決定論的であると仮定する。
項目-項目遷移は、いくつかの項目において著しく変動し、ユーザの興味のランダム性を示す。
本稿では,不確実性を逐次モデルに注入する分散型トランスフォーマーシークエンシャルレコメンデーション(DT4SR)を提案する。
論文 参考訳(メタデータ) (2021-06-11T04:35:21Z) - Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。
本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。
本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
論文 参考訳(メタデータ) (2021-02-04T02:21:08Z) - Forecasting time series with encoder-decoder neural networks [0.0]
圧縮された過去の観測結果から新しい観測結果が生成される高次元定常過程を考察する。
特定の進化はエンコーダ・デコーダ構造によってモデル化される。
エンコーダ・デコーダニューラルネットワークによる進化を推定し,予測誤差の上限を与える。
論文 参考訳(メタデータ) (2020-09-18T14:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。