論文の概要: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
- arxiv url: http://arxiv.org/abs/2211.09812v1
- Date: Wed, 16 Nov 2022 06:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 14:24:29.296851
- Title: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
- Title(参考訳): GAMMT:多重変換器を用いた生成曖昧性モデリング
- Authors: Xingcheng Xu
- Abstract要約: GAMMTは複数変圧器を用いた生成あいまい度モデルを表すモデルである。
選択機構によって接続された多重並列トランスを用いて曖昧な確率を近似する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new model based on sets of probabilities for sequential data.
We name the model GAMMT, which stands for Generative Ambiguity Models using
Multiple Transformers. We suppose that data generating process of a sequence is
ambiguous and determined by a set of probabilities rather than one as in the
conventional model. We use multiple parallel transformers connected by a
selection mechanism to approximate ambiguous probabilities. The GAMMT allows
for ambiguity modeling in a generative way and multiple representations of the
input tokens and the input sequence. This work explores the combination of
attention mechanism and ambiguity by deep neural networks. We expect that this
framework will facilitate new research into machine learning, improving our
understanding of the attention-ambiguity mechanism.
- Abstract(参考訳): 逐次データに対する確率の集合に基づく新しいモデルを提案する。
GAMMTは複数変圧器を用いた生成曖昧性モデルを表すモデルである。
従来のモデルのように、シーケンスのデータ生成プロセスは曖昧であり、確率の集合によって決定される。
選択機構によって接続された多重並列トランスを用いて曖昧な確率を近似する。
GAMMTは、生成的な方法であいまいさをモデル化し、入力トークンと入力シーケンスの複数の表現を可能にする。
この研究は、ディープニューラルネットワークによる注意機構とあいまいさの組み合わせを探求する。
このフレームワークが機械学習の新たな研究を促進し、注意あいまいさメカニズムの理解を深めることを期待している。
関連論文リスト
- Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。
このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。
実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文 参考訳(メタデータ) (2024-03-06T14:27:29Z) - Multimodal Pathway: Improve Transformers with Irrelevant Data from Other
Modalities [60.04504520085965]
我々は,他のモダリティからの無関係なデータを用いて,特定のモダリティのトランスフォーマーを改善することを提案する。
我々は、他のモダリティのデータで訓練された補助変圧器を使用し、2つのモデルのコンポーネントを接続するための経路を構築している。
我々は、他のモダリティの無関係なデータを用いて、顕著で一貫したパフォーマンス改善を観察する。
論文 参考訳(メタデータ) (2024-01-25T18:59:58Z) - Learning multi-modal generative models with permutation-invariant
encoders and tighter variational bounds [6.062751776009752]
マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。
本研究では、データログのような境界を厳格に下げることができる変動境界について考察する。
我々は、異なるモダリティから符号化された特徴を組み合わせることで、PoE や MoE のアプローチを一般化するより柔軟なアグリゲーションスキームを開発する。
論文 参考訳(メタデータ) (2023-09-01T10:32:21Z) - Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。
MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。
モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文 参考訳(メタデータ) (2023-08-29T15:01:01Z) - Improving Out-of-Distribution Robustness of Classifiers via Generative
Interpolation [56.620403243640396]
ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。
しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。
多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
論文 参考訳(メタデータ) (2023-07-23T03:53:53Z) - Indeterminacy in Latent Variable Models: Characterization and Strong
Identifiability [3.959606869996233]
潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。
次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
論文 参考訳(メタデータ) (2022-06-02T00:01:27Z) - Classification Models for Partially Ordered Sequences [15.426481600285724]
部分順序付きシーケンスに対する新しい変換器ベースモデルを提案する。
既存の順序不変モデルの拡張に対してベンチマークを行う。
変換器をベースとした等時モデルでは,3つのデータセット上で既存のモデルの拡張よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-01-31T05:08:21Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳(メタデータ) (2020-10-22T05:04:38Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - Variational Hyper RNN for Sequence Modeling [69.0659591456772]
本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。
提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。
提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
論文 参考訳(メタデータ) (2020-02-24T19:30:32Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳(メタデータ) (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。