論文の概要: Representation Learning in Sequence to Sequence Tasks: Multi-filter Gaussian Mixture Autoencoder

• arxiv url: http://arxiv.org/abs/2105.08840v1
• Date: Tue, 18 May 2021 21:42:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 23:09:47.571247
• Title: Representation Learning in Sequence to Sequence Tasks: Multi-filter Gaussian Mixture Autoencoder
• Title（参考訳）: シーケンスからシーケンスタスクへの表現学習:マルチフィルタガウス混合オートエンコーダ
• Authors: Yunhao Yang, Zhaokun Xue
• Abstract要約: 文の不均一性は、機械翻訳のようなシーケンスタスクに連続して存在する。 本稿では,シークエンスタスクにおける不均一性を解決するためのモデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneity of sentences exists in sequence to sequence tasks such as machine translation. Sentences with largely varied meanings or grammatical structures may increase the difficulty of convergence while training the network. In this paper, we introduce a model to resolve the heterogeneity in the sequence to sequence task. The Multi-filter Gaussian Mixture Autoencoder (MGMAE) utilizes an autoencoder to learn the representations of the inputs. The representations are the outputs from the encoder, lying in the latent space whose dimension is the hidden dimension of the encoder. The representations of training data in the latent space are used to train Gaussian mixtures. The latent space representations are divided into several mixtures of Gaussian distributions. A filter (decoder) is tuned to fit the data in one of the Gaussian distributions specifically. Each Gaussian is corresponding to one filter so that the filter is responsible for the heterogeneity within this Gaussian. Thus the heterogeneity of the training data can be resolved. Comparative experiments are conducted on the Geo-query dataset and English-French translation. Our experiments show that compares to the traditional encoder-decoder model, this network achieves better performance on sequence to sequence tasks such as machine translation and question answering.
• Abstract（参考訳）: 文の不均一性は、機械翻訳のようなシーケンスタスクに連続して存在する。 大きく異なる意味や文法構造を持つ文は、ネットワークを訓練しながら収束の困難を増す可能性がある。 本稿では,シーケンスタスクにおける不均一性を解決するためのモデルを提案する。 Multi-filter Gaussian Mixture Autoencoder (MGMAE) はオートエンコーダを用いて入力の表現を学習する。 表現はエンコーダからの出力であり、その次元がエンコーダの隠れた次元である潜在空間にある。 潜在空間におけるトレーニングデータの表現はガウス混合の訓練に使用される。 潜在空間表現はガウス分布のいくつかの混合に分割される。 フィルタ(デコーダ)は、具体的にはガウス分布の1つに適合するように調整される。 各ガウシアンはこのガウシアン内の不均一性の原因となるように1つのフィルターに対応している。 これにより、トレーニングデータの均一性を解消できる。 ジオクエリデータセットと英語とフランス語の翻訳について比較実験を行った。 実験の結果,従来のエンコーダ・デコーダモデルと比較すると,機械翻訳や質問応答といったシーケンスタスクの処理性能が向上することがわかった。

関連論文リスト

• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• A Self-Encoder for Learning Nearest Neighbors [5.297261090056809]
  自己エンコーダは、データサンプルを埋め込み空間に分散して、互いに線形に分離できるように学習する。 通常の隣人とは異なり、このデータの符号化による予測は、あらゆる機能のスケーリングに不変である。
  論文  参考訳（メタデータ） (2023-06-25T14:30:31Z)
• Transforming Visual Scene Graphs to Image Captions [69.13204024990672]
  我々は、Scene Graphs (TSG) をより説明的なキャプションに変換することを提案する。 TSGでは、シーングラフの埋め込みのためのグラフニューラルネットワーク(GNN)の設計にマルチヘッドアテンション(MHA)を適用している。 TSGでは、各専門家はMHAに基づいてグラフ埋め込みを識別し、異なる種類の単語を生成する。
  論文  参考訳（メタデータ） (2023-05-03T15:18:37Z)
• Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models [0.0]
  可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。 この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。 本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
  論文  参考訳（メタデータ） (2023-04-24T14:44:47Z)
• Gaussian Mixture Convolution Networks [13.493166990188278]
  本稿では,多次元ガウス混合の解析的畳み込みに基づく新しい深層学習法を提案する。 このアーキテクチャに基づくネットワークは,MNIST と ModelNet のデータセットに適合したガウス混合の競合精度に達することを示す。
  論文  参考訳（メタデータ） (2022-02-18T12:07:52Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Enhancing Latent Space Clustering in Multi-filter Seq2Seq Model: A Reinforcement Learning Approach [0.0]
  クラスタリングアルゴリズムを用いて潜在空間表現を解析する潜時拡張型マルチフィルタセq2seqモデル (LMS2S) を設計する。 セマンティック解析と機械翻訳の実験により,クラスタリングの品質とモデルの性能の正の相関が示された。
  論文  参考訳（メタデータ） (2021-09-25T16:36:31Z)
• Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data via Differentiable Cross-Approximation [53.95297550117153]
  本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。 提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
  論文  参考訳（メタデータ） (2021-05-29T08:39:57Z)
• Generate High Resolution Images With Generative Variational Autoencoder [0.0]
  本稿では,高解像度画像を生成する新しいニューラルネットワークを提案する。 エンコーダをそのまま使用しながら,VAEのデコーダを識別器に置き換える。 我々は、MNIST、LSUN、CelebAの3つの異なるデータセットでネットワークを評価した。
  論文  参考訳（メタデータ） (2020-08-12T20:15:34Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。