論文の概要: Probabilistic Transformers

• arxiv url: http://arxiv.org/abs/2010.15583v3
• Date: Thu, 12 Nov 2020 16:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:25:12.264716
• Title: Probabilistic Transformers
• Title（参考訳）: 確率変換器
• Authors: Javier R. Movellan, Prasad Gabbur
• Abstract要約: 変換器はガウスモデルの混合に対する最大後確率推定器であることを示す。 これはTransformerに確率的視点をもたらし、他の確率的ケースへの拡張を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that Transformers are Maximum Posterior Probability estimators for Mixtures of Gaussian Models. This brings a probabilistic point of view to Transformers and suggests extensions to other probabilistic cases.
• Abstract（参考訳）: 変換器はガウスモデルの混合に対する最大後確率推定器であることを示す。 これはTransformerに確率的視点をもたらし、他の確率的ケースの拡張を提案する。

関連論文リスト

• Transformers As Approximations of Solomonoff Induction [7.890110890837779]
  Solomonoffインダクションはシーケンス予測のための最適極限アルゴリズムである。 計算シーケンス予測の最適な形式であるため、他のシーケンス予測方法と比較できるモデルとして用いられる可能性が考えられる。 我々は,トランスフォーマーモデルが既存のどのシーケンス予測法よりもソロモノフ誘導を近似する仮説を提示し,検討した。
  論文  参考訳（メタデータ） (2024-08-22T02:05:44Z)
• Towards Understanding Inductive Bias in Transformers: A View From Infinity [9.00214539845063]
  変換器は、列空間のより置換対称関数に偏りがちである。 対称群の表現論は定量的な解析的予測に利用できることを示す。 我々は、WikiTextデータセットは、実際に置換対称性の程度を持っていると主張している。
  論文  参考訳（メタデータ） (2024-02-07T19:00:01Z)
• Transformers can optimally learn regression mixture models [22.85684729248361]
  変換器は回帰の混合に対して最適な予測器を学習できることを示す。 実験では、トランスフォーマーがサンプル効率のよい方法で回帰の混合を学習できることも示している。 決定理論の最適手順が実際に変換器によって実装可能であることを具体的確に証明する。
  論文  参考訳（メタデータ） (2023-11-14T18:09:15Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• Sampled Transformer for Point Sets [80.66097006145999]
  スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。 我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
  論文  参考訳（メタデータ） (2023-02-28T06:38:05Z)
• GAMMT: Generative Ambiguity Modeling Using Multiple Transformers [0.0]
  本稿では,GAMMT (Generative Ambiguity Models using Multiple Transformer) と呼ばれる新しいモデルを提案する。 我々のアプローチは、シーケンスのデータ生成プロセスが決定論的ではなく、むしろ曖昧で確率の集合の影響を受けていることを認めている。
  論文  参考訳（メタデータ） (2022-11-16T06:24:26Z)
• Probabilistic Decomposition Transformer for Time Series Forecasting [13.472690692157164]
  本稿では,トランスフォーマと条件付き生成モデルを組み合わせた確率分解変換器モデルを提案する。 Transformerは、時間パターンを学習し、主要な確率予測を実装するために使用される。 条件生成モデルは、非自己回帰的階層的確率予測を達成するために使用される。
  論文  参考訳（メタデータ） (2022-10-31T15:22:50Z)
• Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting [86.33543833145457]
  本稿では,2つの相互依存モジュールを持つ汎用フレームワークとして,非定常変圧器を提案する。 我々のフレームワークは、メインストリームのトランスフォーマーを、大きなマージンで継続的に増加させ、トランスフォーマーで49.43%、インフォーマーで47.34%、改革派で46.89%削減します。
  論文  参考訳（メタデータ） (2022-05-28T12:27:27Z)
• A Probabilistic Interpretation of Transformers [91.3755431537592]
  本稿では,変圧器の指数点積注意の確率論的解釈と指数列に基づくコントラスト学習を提案する。 我々は、我々の理論とホップフィールド理論の理論的限界を述べ、分解の方向性を提案する。
  論文  参考訳（メタデータ） (2022-04-28T23:05:02Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。