論文の概要: Plug and Play Autoencoders for Conditional Text Generation

• arxiv url: http://arxiv.org/abs/2010.02983v2
• Date: Mon, 12 Oct 2020 08:20:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:19:20.196569
• Title: Plug and Play Autoencoders for Conditional Text Generation
• Title（参考訳）: 条件付きテキスト生成のためのプラグアンドプレイオートエンコーダ
• Authors: Florian Mai (1 and 2), Nikolaos Pappas (3), Ivan Montero (3), Noah A. Smith (3 and 4), James Henderson (1) ((1) Idiap Research Institute, (2) EPFL, (3) University of Washington, (4) Allen Institute for Artificial Intelligence)
• Abstract要約: 本稿では,事前に訓練したオートエンコーダを用いて埋め込み学習を行う手法を提案する。 これにより、タスクのラベル付きトレーニングデータの必要性を低減し、トレーニング手順をより効率的にする。 提案手法は,最大4倍高速でありながら,強いベースラインに匹敵する性能を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text autoencoders are commonly used for conditional generation tasks such as style transfer. We propose methods which are plug and play, where any pretrained autoencoder can be used, and only require learning a mapping within the autoencoder's embedding space, training embedding-to-embedding (Emb2Emb). This reduces the need for labeled training data for the task and makes the training procedure more efficient. Crucial to the success of this method is a loss term for keeping the mapped embedding on the manifold of the autoencoder and a mapping which is trained to navigate the manifold by learning offset vectors. Evaluations on style transfer tasks both with and without sequence-to-sequence supervision show that our method performs better than or comparable to strong baselines while being up to four times faster.
• Abstract（参考訳）: テキストオートエンコーダは、スタイル転送などの条件生成タスクに一般的に使用される。 本稿では,プリトレーニング済みのオートエンコーダが使用可能で,自動エンコーダの埋め込み空間内のマッピングを学習し,emb2emb(embed-to-embedding)をトレーニングする手法を提案する。 これにより、タスクのラベル付きトレーニングデータの必要性を低減し、トレーニング手順をより効率的にする。 この手法の成功に不可欠なのは、オートエンコーダの多様体上にマッピングを埋め込むための損失項と、オフセットベクトルを学習して多様体をナビゲートするように訓練されたマッピングである。 シーケンス・ツー・シーケンスの監督を伴わないスタイル転送タスクの評価は,提案手法が最大4倍高速で,強いベースラインに匹敵する性能を示した。

関連論文リスト

• Efficient Pre-training for Localized Instruction Generation of Videos [32.13509517228516]
  手続きビデオはステップバイステップの指示を伝えるのに役立ちます。 Process Transformer (ProcX) は、プロシージャビデオのエンドツーエンドのステップローカライズと命令生成のためのモデルである。
  論文  参考訳（メタデータ） (2023-11-27T16:07:37Z)
• How Much Training Data is Memorized in Overparameterized Autoencoders? An Inverse Problem Perspective on Memorization Evaluation [1.573034584191491]
  本稿では,暗記研究のための逆問題視点を提案する。 トレーニングされたオートエンコーダを使用して、学習対象とする特定のトレーニングデータセットの正規化子を暗黙的に定義します。 提案手法は,オートエンコーダからトレーニングデータを復元する過去の記憶・評価手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T15:36:33Z)
• TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
  本稿では,コード表現学習のためのTransCoderについて述べる。 我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。 本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
  論文  参考訳（メタデータ） (2023-05-23T06:59:22Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing [66.92823764664206]
  我々は、事前訓練された音声エンコーダを精査し、タスク固有のラベルを必要とせず、その表現空間を再構成する。 6つの音声処理タスクに関する実験では,タスクの微調整と一貫したタスク改善の間に顕著な収束速度が得られた。
  論文  参考訳（メタデータ） (2022-10-24T08:27:09Z)
• KRNet: Towards Efficient Knowledge Replay [50.315451023983805]
  知識再生技術は、継続的な学習や連続的なドメイン適応といった多くのタスクで広く使われている。 本稿では,任意のサンプル識別番号を直接対応するダタムにマッピングする,新規で効率的な知識記録ネットワーク(KRNet)を提案する。 我々のKRNetは、潜在コードに対するストレージコストを著しく削減し、エンコーダのサブネットワークを使わずにトレーニングできる。
  論文  参考訳（メタデータ） (2022-05-23T08:34:17Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• Bag-of-Vectors Autoencoders for Unsupervised Conditional Text Generation [18.59238482225795]
  自動エンコーダの埋め込み空間における写像を学習するために,Mai et al. の提案する Emb2Emb 法を拡張した。 本稿では,Bag-of-AEs Autoencoders (BoV-AEs)を提案する。 これにより、標準的なオートエンコーダよりも長いテキストをエンコードし、再構築することができる。
  論文  参考訳（メタデータ） (2021-10-13T19:30:40Z)
• InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees [17.461451218469062]
  本稿では,自己言語学習機構をソースコードモデルに適用することにより,制限を克服するinfercodeを提案する。 ASTのサブツリーは、人間のラベル付けや高価なグラフ構築のオーバーヘッドなしにコード表現をトレーニングするためのラベルとして、InferCodeで扱われる。 Code2Vec、Code2Seq、ASTNNなど、同じ下流タスクに適用される以前のコード学習技術と比較して、事前に訓練されたInferCodeモデルを使用して、より高いパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2020-12-13T10:33:41Z)
• Conditioned Text Generation with Transfer for Closed-Domain Dialogue Systems [65.48663492703557]
  条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。 クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
  論文  参考訳（メタデータ） (2020-11-03T14:06:10Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。