論文の概要: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
- arxiv url: http://arxiv.org/abs/2211.09812v2
- Date: Tue, 4 Apr 2023 10:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 18:36:53.914435
- Title: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
- Title(参考訳): GAMMT:多重変換器を用いた生成曖昧性モデリング
- Authors: Xingcheng Xu
- Abstract要約: 本稿では,GAMMT (Generative Ambiguity Models using Multiple Transformer) と呼ばれる新しいモデルを提案する。
我々のアプローチは、シーケンスのデータ生成プロセスが決定論的ではなく、むしろ曖昧で確率の集合の影響を受けていることを認めている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel model called GAMMT (Generative Ambiguity Models using
Multiple Transformers) for sequential data that is based on sets of
probabilities. Unlike conventional models, our approach acknowledges that the
data generation process of a sequence is not deterministic, but rather
ambiguous and influenced by a set of probabilities. To capture this ambiguity,
GAMMT employs multiple parallel transformers that are linked by a selection
mechanism, allowing for the approximation of ambiguous probabilities. The
generative nature of our approach also enables multiple representations of
input tokens and sequences. While our models have not yet undergone
experimental validation, we believe that our model has great potential to
achieve high quality and diversity in modeling sequences with uncertain data
generation processes.
- Abstract(参考訳): 確率集合に基づく逐次データに対して, gammt (generative ambiguity model using multiple transformers) と呼ばれる新しいモデルを導入する。
従来のモデルとは異なり,本手法では,シーケンスのデータ生成プロセスは決定論的ではなく,確率の集合の影響を受け,曖昧である。
この曖昧さを捉えるために、gammtは選択機構によってリンクされる複数の並列トランスを使用し、曖昧な確率の近似を可能にする。
このアプローチのジェネレーティブな性質は、入力トークンとシーケンスの複数の表現を可能にする。
私たちのモデルはまだ実験的な検証を行っていませんが、不確定なデータ生成プロセスによるモデリングシーケンスの高品質と多様性を達成するための大きな可能性を秘めています。
関連論文リスト
- Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。
このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。
実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文 参考訳(メタデータ) (2024-03-06T14:27:29Z) - Multimodal Pathway: Improve Transformers with Irrelevant Data from Other
Modalities [60.04504520085965]
我々は,他のモダリティからの無関係なデータを用いて,特定のモダリティのトランスフォーマーを改善することを提案する。
我々は、他のモダリティのデータで訓練された補助変圧器を使用し、2つのモデルのコンポーネントを接続するための経路を構築している。
我々は、他のモダリティの無関係なデータを用いて、顕著で一貫したパフォーマンス改善を観察する。
論文 参考訳(メタデータ) (2024-01-25T18:59:58Z) - Learning multi-modal generative models with permutation-invariant
encoders and tighter variational bounds [6.062751776009752]
マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。
本研究では、データログのような境界を厳格に下げることができる変動境界について考察する。
我々は、異なるモダリティから符号化された特徴を組み合わせることで、PoE や MoE のアプローチを一般化するより柔軟なアグリゲーションスキームを開発する。
論文 参考訳(メタデータ) (2023-09-01T10:32:21Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳(メタデータ) (2023-08-29T15:01:01Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Indeterminacy in Latent Variable Models: Characterization and Strong
Identifiability [3.959606869996233]
潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。
次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
論文 参考訳(メタデータ) (2022-06-02T00:01:27Z) - Classification Models for Partially Ordered Sequences [15.426481600285724]
部分順序付きシーケンスに対する新しい変換器ベースモデルを提案する。
既存の順序不変モデルの拡張に対してベンチマークを行う。
変換器をベースとした等時モデルでは,3つのデータセット上で既存のモデルの拡張よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-01-31T05:08:21Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - Variational Hyper RNN for Sequence Modeling [69.0659591456772]
本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。
提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。
提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
論文 参考訳(メタデータ) (2020-02-24T19:30:32Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳(メタデータ) (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。