論文の概要: The Monte Carlo Transformer: a stochastic self-attention model for sequence prediction

• arxiv url: http://arxiv.org/abs/2007.08620v2
• Date: Tue, 15 Dec 2020 14:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 04:34:20.172686
• Title: The Monte Carlo Transformer: a stochastic self-attention model for sequence prediction
• Title（参考訳）: モンテカルロ変換器:シーケンス予測のための確率的自己アテンションモデル
• Authors: Alice Martin (CMAP, IP Paris, CITI, TIPIC-SAMOVAR), Charles Ollion (CMAP), Florian Strub, Sylvain Le Corff (IP Paris, CITI, TIPIC-SAMOVAR), Olivier Pietquin
• Abstract要約: ネットワークのキー、クエリ、値、アテンションベクトルは、その隠された構造の観測されていない状態と見なされる。 逐次モンテカルロ法を用いて、観測された状態の後方分布を近似し、ログの勾配を推定する。
• 参考スコア（独自算出の注目度）: 19.815744837363546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the Sequential Monte Carlo Transformer, an original approach that naturally captures the observations distribution in a transformer architecture. The keys, queries, values and attention vectors of the network are considered as the unobserved stochastic states of its hidden structure. This generative model is such that at each time step the received observation is a random function of its past states in a given attention window. In this general state-space setting, we use Sequential Monte Carlo methods to approximate the posterior distributions of the states given the observations, and to estimate the gradient of the log-likelihood. We hence propose a generative model giving a predictive distribution, instead of a single-point estimate.
• Abstract（参考訳）: 本稿では,変圧器アーキテクチャにおける観測分布を自然にキャプチャする手法であるSequential Monte Carlo Transformerを紹介する。 ネットワークのキー、クエリ、値、アテンションベクトルは、その隠された構造の観測されていない確率状態と見なされる。 この生成モデルは、各時間ステップにおいて受信された観測が与えられた注意窓内の過去の状態のランダムな関数であるようなものである。 この一般的な状態空間設定では、Sequential Monte Carlo法を用いて、観測された状態の後方分布を近似し、ログのような勾配を推定する。 そこで我々は,単点推定ではなく,予測分布を与える生成モデルを提案する。

関連論文リスト

• A Monte Carlo Framework for Calibrated Uncertainty Estimation in Sequence Prediction [19.710390261102113]
  離散列の分布に付随する確率と信頼区間を推定するモンテカルロフレームワークを提案する。 我々のフレームワークは、自己回帰学習ニューラルネットワークとして実装されたモンテカルロシミュレータを使用して、画像入力に条件付きシーケンスをサンプリングする。 合成および実データの実験では、このフレームワークは正確な識別予測を生成するが、誤校正に悩まされる可能性がある。
  論文  参考訳（メタデータ） (2024-10-30T17:53:37Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Approximate sampling and estimation of partition functions using neural networks [0.0]
  本研究では, 可変オートエンコーダ (VAE) をいかに応用できるかを示す。 論理を逆転させ、正規化まで特定された複雑で難解な潜在分布を仮定して、VAEを単純かつトラクタブルな分布に適合するように訓練する。 この手順は、トレーニングデータやマルコフ連鎖モンテカルロサンプリングを使わずに近似を構成する。
  論文  参考訳（メタデータ） (2022-09-21T15:16:45Z)
• Markov Observation Models [0.0]
  隠れマルコフモデルが拡張され、マルコフ連鎖の観測が可能となった。 この観測は、隠れマルコフ鎖に依存する一段階の遷移確率を持つマルコフ連鎖であると仮定される。 隠れ状態と観測の両方の遷移確率を推定するために,期待最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-08-12T16:53:07Z)
• B\'ezier Curve Gaussian Processes [8.11969931278838]
  本稿では,確率的B'ezier曲線上に構築された新しい確率的シーケンスモデルを提案する。 混合密度ネットワークと組み合わせることで、平均場変動近似を必要とせずにベイズ条件推論を行うことができる。 このモデルは歩行者の軌跡予測に使われ、生成した予測はGP前でも機能する。
  論文  参考訳（メタデータ） (2022-05-03T19:49:57Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation [63.77513071533095]
  既存のシーケンシャルメソッドの多くは、ユーザが決定論的であると仮定する。 項目-項目遷移は、いくつかの項目において著しく変動し、ユーザの興味のランダム性を示す。 本稿では,不確実性を逐次モデルに注入する分散型トランスフォーマーシークエンシャルレコメンデーション(DT4SR)を提案する。
  論文  参考訳（メタデータ） (2021-06-11T04:35:21Z)
• Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states [48.705095800341944]
  隠れマルコフモデルのためのマルコフ連鎖モンテカルロ (MCMC) アルゴリズムは、しばしば前向きのサンプリング器に依存する。 これにより、時系列の長さが増加するにつれて計算が遅くなり、サブサンプリングベースのアプローチの開発が動機となる。 本稿では,パラメータの勾配を計算する際に,希少な潜伏状態に対応するオーバーサンプリング観測を対象とするサブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2018-10-31T17:44:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。