Fugu-MT 論文翻訳(概要): GAMMT: Generative Ambiguity Modeling Using Multiple Transformers

論文の概要: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers

arxiv url: http://arxiv.org/abs/2211.09812v2
Date: Tue, 4 Apr 2023 10:50:48 GMT
ステータス: 処理完了
システム内更新日: 2023-04-05 18:36:53.914435
Title: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
Title（参考訳）: GAMMT:多重変換器を用いた生成曖昧性モデリング
Authors: Xingcheng Xu
Abstract要約: 本稿では,GAMMT (Generative Ambiguity Models using Multiple Transformer) と呼ばれる新しいモデルを提案する。我々のアプローチは、シーケンスのデータ生成プロセスが決定論的ではなく、むしろ曖昧で確率の集合の影響を受けていることを認めている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a novel model called GAMMT (Generative Ambiguity Models using Multiple Transformers) for sequential data that is based on sets of probabilities. Unlike conventional models, our approach acknowledges that the data generation process of a sequence is not deterministic, but rather ambiguous and influenced by a set of probabilities. To capture this ambiguity, GAMMT employs multiple parallel transformers that are linked by a selection mechanism, allowing for the approximation of ambiguous probabilities. The generative nature of our approach also enables multiple representations of input tokens and sequences. While our models have not yet undergone experimental validation, we believe that our model has great potential to achieve high quality and diversity in modeling sequences with uncertain data generation processes.
Abstract（参考訳）: 確率集合に基づく逐次データに対して, gammt (generative ambiguity model using multiple transformers) と呼ばれる新しいモデルを導入する。従来のモデルとは異なり,本手法では,シーケンスのデータ生成プロセスは決定論的ではなく,確率の集合の影響を受け,曖昧である。この曖昧さを捉えるために、gammtは選択機構によってリンクされる複数の並列トランスを使用し、曖昧な確率の近似を可能にする。このアプローチのジェネレーティブな性質は、入力トークンとシーケンスの複数の表現を可能にする。私たちのモデルはまだ実験的な検証を行っていませんが、不確定なデータ生成プロセスによるモデリングシーケンスの高品質と多様性を達成するための大きな可能性を秘めています。

関連論文リスト

UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文参考訳（メタデータ） (2024-06-07T14:39:28Z)
Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文参考訳（メタデータ） (2024-03-06T14:27:29Z)
Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。本研究では,データログ類似度を厳密に近似できる変動目標について考察する。我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
論文参考訳（メタデータ） (2023-09-01T10:32:21Z)
Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文参考訳（メタデータ） (2023-08-29T15:01:01Z)
Permutation Equivariance of Transformers and Its Applications [25.666783258054465]
トランスフォーマーベースのモデルはシャッフルに頑丈であるが、前方伝播におけるトークン間の置換に限られる。ニューラルネットワークの前方及び後方伝播におけるトークン間置換とトークン内置換の両方を包含するより広範な概念である置換同値を提案する。概念実証として、プライバシ強化分割学習やモデル認可を含む現実世界のアプリケーションが、置換同値性をどのように活用できるかを考察する。
論文参考訳（メタデータ） (2023-04-16T09:25:24Z)
Indeterminacy in Latent Variable Models: Characterization and Strong Identifiability [3.959606869996233]
潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
論文参考訳（メタデータ） (2022-06-02T00:01:27Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文参考訳（メタデータ） (2020-10-22T05:04:38Z)
Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文参考訳（メタデータ） (2020-09-01T17:20:08Z)
Variational Hyper RNN for Sequence Modeling [69.0659591456772]
本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
論文参考訳（メタデータ） (2020-02-24T19:30:32Z)
On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。異なる家族間でのモデルランキングの相関はみられない。
論文参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。