Fugu-MT 論文翻訳(概要): GAMMT: Generative Ambiguity Modeling Using Multiple Transformers

論文の概要: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers

arxiv url: http://arxiv.org/abs/2211.09812v1
Date: Wed, 16 Nov 2022 06:24:26 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 14:24:29.296851
Title: GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
Title（参考訳）: GAMMT:多重変換器を用いた生成曖昧性モデリング
Authors: Xingcheng Xu
Abstract要約: GAMMTは複数変圧器を用いた生成あいまい度モデルを表すモデルである。選択機構によって接続された多重並列トランスを用いて曖昧な確率を近似する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a new model based on sets of probabilities for sequential data. We name the model GAMMT, which stands for Generative Ambiguity Models using Multiple Transformers. We suppose that data generating process of a sequence is ambiguous and determined by a set of probabilities rather than one as in the conventional model. We use multiple parallel transformers connected by a selection mechanism to approximate ambiguous probabilities. The GAMMT allows for ambiguity modeling in a generative way and multiple representations of the input tokens and the input sequence. This work explores the combination of attention mechanism and ambiguity by deep neural networks. We expect that this framework will facilitate new research into machine learning, improving our understanding of the attention-ambiguity mechanism.
Abstract（参考訳）: 逐次データに対する確率の集合に基づく新しいモデルを提案する。 GAMMTは複数変圧器を用いた生成曖昧性モデルを表すモデルである。従来のモデルのように、シーケンスのデータ生成プロセスは曖昧であり、確率の集合によって決定される。選択機構によって接続された多重並列トランスを用いて曖昧な確率を近似する。 GAMMTは、生成的な方法であいまいさをモデル化し、入力トークンと入力シーケンスの複数の表現を可能にする。この研究は、ディープニューラルネットワークによる注意機構とあいまいさの組み合わせを探求する。このフレームワークが機械学習の新たな研究を促進し、注意あいまいさメカニズムの理解を深めることを期待している。

関連論文リスト

UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
論文参考訳（メタデータ） (2024-06-07T14:39:28Z)
Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文参考訳（メタデータ） (2024-03-06T14:27:29Z)
Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。本研究では,データログ類似度を厳密に近似できる変動目標について考察する。我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
論文参考訳（メタデータ） (2023-09-01T10:32:21Z)
Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
論文参考訳（メタデータ） (2023-08-29T15:01:01Z)
Permutation Equivariance of Transformers and Its Applications [25.666783258054465]
トランスフォーマーベースのモデルはシャッフルに頑丈であるが、前方伝播におけるトークン間の置換に限られる。ニューラルネットワークの前方及び後方伝播におけるトークン間置換とトークン内置換の両方を包含するより広範な概念である置換同値を提案する。概念実証として、プライバシ強化分割学習やモデル認可を含む現実世界のアプリケーションが、置換同値性をどのように活用できるかを考察する。
論文参考訳（メタデータ） (2023-04-16T09:25:24Z)
Indeterminacy in Latent Variable Models: Characterization and Strong Identifiability [3.959606869996233]
潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
論文参考訳（メタデータ） (2022-06-02T00:01:27Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文参考訳（メタデータ） (2020-10-22T05:04:38Z)
Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文参考訳（メタデータ） (2020-09-01T17:20:08Z)
Variational Hyper RNN for Sequence Modeling [69.0659591456772]
本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
論文参考訳（メタデータ） (2020-02-24T19:30:32Z)
On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。異なる家族間でのモデルランキングの相関はみられない。
論文参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。