論文の概要: Bag-of-Vectors Autoencoders for Unsupervised Conditional Text Generation

• arxiv url: http://arxiv.org/abs/2110.07002v1
• Date: Wed, 13 Oct 2021 19:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 12:31:21.595860
• Title: Bag-of-Vectors Autoencoders for Unsupervised Conditional Text Generation
• Title（参考訳）: 教師なし条件付きテキスト生成のためのバグオブベクタオートエンコーダ
• Authors: Florian Mai and James Henderson
• Abstract要約: 自動エンコーダの埋め込み空間における写像を学習するために,Mai et al. の提案する Emb2Emb 法を拡張した。 本稿では,Bag-of-AEs Autoencoders (BoV-AEs)を提案する。 これにより、標準的なオートエンコーダよりも長いテキストをエンコードし、再構築することができる。
• 参考スコア（独自算出の注目度）: 18.59238482225795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text autoencoders are often used for unsupervised conditional text generation by applying mappings in the latent space to change attributes to the desired values. Recently, Mai et al. (2020) proposed Emb2Emb, a method to learn these mappings in the embedding space of an autoencoder. However, their method is restricted to autoencoders with a single-vector embedding, which limits how much information can be retained. We address this issue by extending their method to Bag-of-Vectors Autoencoders (BoV-AEs), which encode the text into a variable-size bag of vectors that grows with the size of the text, as in attention-based models. This allows to encode and reconstruct much longer texts than standard autoencoders. Analogous to conventional autoencoders, we propose regularization techniques that facilitate learning meaningful operations in the latent space. Finally, we adapt for a training scheme that learns to map an input bag to an output bag, including a novel loss function and neural architecture. Our experimental evaluations on unsupervised sentiment transfer and sentence summarization show that our method performs substantially better than a standard autoencoder.
• Abstract（参考訳）: テキストオートエンコーダは、潜在空間にマッピングを適用して所望の値に属性を変更することで、教師なし条件付きテキスト生成によく使用される。 最近 Mai et al. (2020) は、オートエンコーダの埋め込み空間におけるこれらの写像を学習する方法である Emb2Emb を提案した。 しかし、それらの手法は単一ベクトル埋め込みを持つオートエンコーダに限られており、保持できる情報の量を制限する。 この問題に対処するために,本手法を,注意に基づくモデルのように,テキストを可変サイズのベクトルの袋にエンコードするbag-of-vectors autoencoders (bov-aes) に拡張する。 これにより、標準的なオートエンコーダよりも長いテキストをエンコードし、再構築することができる。 従来のオートエンコーダと同様,潜在空間における意味のある操作の学習を容易にする正規化手法を提案する。 最後に,入力バッグを新たな損失関数やニューラルアーキテクチャを含む出力バッグにマッピングする方法を学ぶトレーニングスキームに適応する。 教師なし感情伝達と文要約に関する実験により,本手法は標準オートエンコーダよりもかなり優れた性能を示す。

関連論文リスト

• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• ConTextual Mask Auto-Encoder for Dense Passage Retrieval [49.49460769701308]
  CoT-MAEは,高密度経路抽出のための簡易かつ効果的な生成前訓練法である。 文のセマンティクスを高密度ベクトルに圧縮する学習は、自己教師付きおよび文脈教師付きマスキングによる自動エンコーディングによって行われる。 我々は,大規模経路探索ベンチマークの実験を行い,強力なベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2022-08-16T11:17:22Z)
• An Introduction to Autoencoders [0.0]
  本稿では,オートエンコーダの基本概念と数学について述べる。 まず、オートエンコーダの一般的な紹介から始め、出力層におけるアクティベーション関数の役割と損失関数について論じる。
  論文  参考訳（メタデータ） (2022-01-11T11:55:32Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Plug and Play Autoencoders for Conditional Text Generation [0.0]
  本稿では,事前に訓練したオートエンコーダを用いて埋め込み学習を行う手法を提案する。 これにより、タスクのラベル付きトレーニングデータの必要性を低減し、トレーニング手順をより効率的にする。 提案手法は,最大4倍高速でありながら,強いベースラインに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2020-10-06T19:18:06Z)
• Double Backpropagation for Training Autoencoders against Adversarial Attack [15.264115499966413]
  本稿では,オートエンコーダに対する敵攻撃に着目した。 本稿では,VAE や DRAW などのオートエンコーダを確保するために,二重バックプロパゲーション (DBP) を採用することを提案する。
  論文  参考訳（メタデータ） (2020-03-04T05:12:27Z)
• Learning Autoencoders with Relational Regularization [89.53065887608088]
  データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。 エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする 我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
  論文  参考訳（メタデータ） (2020-02-07T17:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。