論文の概要: COD3S: Diverse Generation with Discrete Semantic Signatures

• arxiv url: http://arxiv.org/abs/2010.02882v1
• Date: Tue, 6 Oct 2020 17:06:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:15:12.407481
• Title: COD3S: Diverse Generation with Discrete Semantic Signatures
• Title（参考訳）: COD3S:離散意味記号を用いた逆生成
• Authors: Nathaniel Weir, Jo\~ao Sedoc, and Benjamin Van Durme
• Abstract要約: COD3Sはニューラルシークエンス・ツー・シークエンス(seq2seq)モデルを用いて意味的に多様な文を生成する新しい方法である。 我々の2段階のアプローチは、局所性に敏感なハッシュ(LSH)に基づく意味文コードの生成を条件付けすることで、出力の多様性を向上させる。 本研究では,タスク性能を劣化させることなく,提案手法を用いて生成した応答が多様性の向上を示すことを,自動的および人為的評価を通じて示す。
• 参考スコア（独自算出の注目度）: 28.213480227367636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present COD3S, a novel method for generating semantically diverse sentences using neural sequence-to-sequence (seq2seq) models. Conditioned on an input, seq2seq models typically produce semantically and syntactically homogeneous sets of sentences and thus perform poorly on one-to-many sequence generation tasks. Our two-stage approach improves output diversity by conditioning generation on locality-sensitive hash (LSH)-based semantic sentence codes whose Hamming distances highly correlate with human judgments of semantic textual similarity. Though it is generally applicable, we apply COD3S to causal generation, the task of predicting a proposition's plausible causes or effects. We demonstrate through automatic and human evaluation that responses produced using our method exhibit improved diversity without degrading task performance.
• Abstract（参考訳）: ニューラル・シークエンス・トゥ・シークエンス(seq2seq)モデルを用いて意味的に多様な文を生成する新しい手法であるcod3sを提案する。 入力に条件付けされたSeq2seqモデルは、典型的には意味論的および構文的に同質な文集合を生成するため、一対多のシーケンス生成タスクでは不十分である。 この二段階アプローチは,局所感性ハッシュ(lsh)に基づく意味文符号における条件付き生成と,人間による意味文類似度判定と高い相関性を有する出力多様性を向上させる。 一般に当てはまるが、提案のもっともらしい原因や効果を予測するタスクである因果生成にCOD3Sを適用する。 本手法により得られた応答がタスク性能を低下させることなく多様性を向上させることを自動的および人間的評価により実証する。

関連論文リスト

• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Fine-grained Contrastive Learning for Definition Generation [10.549051541793544]
  従来のエンコーダ・デコーダモデルは、与えられた単語の完全な意味的要素を含む効果的な表現学習を欠いていた。 そこで本研究では,定義シーケンスエンコーディングからより詳細な意味表現を抽出することをモデルに推奨する,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-02T14:55:01Z)
• Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
  本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
  論文  参考訳（メタデータ） (2022-03-07T15:28:36Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Contrastive Learning with Adversarial Perturbations for Conditional Text Generation [49.055659008469284]
  seq2seqモデルのコントラスト学習のための正負のサンプルを生成する原則的な方法を提案する。 具体的には、入力シーケンスに小さな摂動を加えることで、条件付き可能性を最小限に抑えるネガティブな例を生成します。 提案手法は,3つのテキスト生成タスクにおけるSeq2seqの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-12-14T06:20:27Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。