論文の概要: Conditional set generation using Seq2seq models

• arxiv url: http://arxiv.org/abs/2205.12485v1
• Date: Wed, 25 May 2022 04:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-28 16:35:52.170056
• Title: Conditional set generation using Seq2seq models
• Title（参考訳）: Seq2seqモデルを用いた条件セット生成
• Authors: Aman Madaan, Dheeraj Rajagopal, Niket Tandon, Yiming Yang, Antoine Bosselut
• Abstract要約: 条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。 本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 52.516563721766445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conditional set generation learns a mapping from an input sequence of tokens to a set. Several NLP tasks, such as entity typing and dialogue emotion tagging, are instances of set generation. Sequence-to-sequence~(Seq2seq) models are a popular choice to model set generation, but they treat a set as a sequence and do not fully leverage its key properties, namely order-invariance and cardinality. We propose a novel algorithm for effectively sampling informative orders over the combinatorial space of label orders. Further, we jointly model the set cardinality and output by adding the set size as the first element and taking advantage of the autoregressive factorization used by Seq2seq models. Our method is a model-independent data augmentation approach that endows any Seq2seq model with the signals of order-invariance and cardinality. Training a Seq2seq model on this new augmented data~(without any additional annotations) gets an average relative improvement of 20% for four benchmarks datasets across models spanning from BART-base, T5-xxl, and GPT-3.
• Abstract（参考訳）: 条件付きセット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 エンティティタイピングや対話感情タグ付けといったいくつかのnlpタスクは、セット生成の例である。 シークエンス・トゥ・シークエンス~(Seq2seq)モデルはモデル集合生成の一般的な選択であるが、集合を列として扱い、その重要な性質、すなわち順序不変性と濃度を十分に活用しない。 ラベル順序の組合せ空間上で情報的順序を効果的にサンプリングする新しいアルゴリズムを提案する。 さらに,セットサイズを第1要素として加え,seq2seqモデルで使用される自己回帰的因子分解を利用することにより,集合濃度と出力を共同でモデル化する。 本手法は,任意のSeq2seqモデルに順序不変性および濃度の信号を与えるモデル独立データ拡張手法である。 この新しい拡張データ~(追加アノテーションなしで)でSeq2seqモデルをトレーニングすると、BARTベース、T5-xxl、GPT-3のモデルにまたがる4つのベンチマークデータセットの平均相対的な改善率が20%になる。

関連論文リスト

• Seq2seq is All You Need for Coreference Resolution [26.551602768015986]
  トレーニング済みのseq2seq変換器を微調整し、コア参照アノテーションを符号化したタグ付きシーケンスに入力文書をマッピングする。 我々のモデルは、データセットの配列に関する文献の中で最高のコア参照システムより優れているか、あるいは密に一致します。
  論文  参考訳（メタデータ） (2023-10-20T19:17:22Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification [9.990725102725916]
  XMTC (Extreme Multi-label text classification) は、大規模ラベルコレクションから最も関連性の高いサブセットラベルを見つけるタスクである。 OTSeq2Set という名前の XMTC タスクに対する自己回帰シーケンス・ツー・セットモデルを提案する。 本モデルは,学生強制スキームにおける予測を生成し,両部マッチングに基づく損失関数を用いて学習する。
  論文  参考訳（メタデータ） (2022-10-26T07:25:18Z)
• Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation [21.886973310718457]
  本稿では,文法的誤り訂正のための新しいSequence-to-Action(S2A)モジュールを提案する。 S2Aモジュールは、ソースとターゲット文を共同で入力とし、トークンレベルのアクションシーケンスを自動的に生成することができる。 我々のモデルはセq2seqベースラインを一貫して上回り、過補正問題を著しく軽減することができる。
  論文  参考訳（メタデータ） (2022-05-22T17:47:06Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Minimize Exposure Bias of Seq2Seq Models in Joint Entity and Relation Extraction [57.22929457171352]
  共同エンティティと関係抽出は、プレーンテキストから直接関係三重項を抽出することを目的としている。 本稿では、露出バイアスの影響を最小限に抑えるために、新しいSequence-to-Unordered-Multi-Tree(Seq2UMTree)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:34Z)
• Fast Transformers with Clustered Attention [14.448898156256478]
  本稿では,クエリ毎の注目度を計算する代わりに,クエリをクラスタにグループ化し,セントロイドのみの注意度を算出するクラスタ型注意度を提案する。 これにより、固定数のクラスタのシーケンス長に対する線形複雑性を持つモデルが得られる。 我々は,2つの自動音声認識データセットに対するアプローチを評価し,そのモデルが与えられた計算予算に対して常にバニラ変換器より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T14:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。