論文の概要: Inflected Forms Are Redundant in Question Generation Models

• arxiv url: http://arxiv.org/abs/2301.00397v1
• Date: Sun, 1 Jan 2023 13:08:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 14:54:47.626248
• Title: Inflected Forms Are Redundant in Question Generation Models
• Title（参考訳）: 質問生成モデルにおける入力フォームの冗長性
• Authors: Xingwu Sun, Hongyin Tang, chengzhong Xu
• Abstract要約: 本稿では,エンコーダ・デコーダ・フレームワークを用いた質問生成の性能向上手法を提案する。 まず,エンコーダの入力から入力された単語を識別し,根語に置き換える。 次に,エンコード・デコーダ・フレームワークにおける以下の動作の組合せとしてQGを適用することを提案する。質問語の生成,ソースシーケンスからの単語のコピー,単語変換型の生成である。
• 参考スコア（独自算出の注目度）: 27.49894653349779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural models with an encoder-decoder framework provide a feasible solution to Question Generation (QG). However, after analyzing the model vocabulary we find that current models (both RNN-based and pre-training based) have more than 23\% inflected forms. As a result, the encoder will generate separate embeddings for the inflected forms, leading to a waste of training data and parameters. Even worse, in decoding these models are vulnerable to irrelevant noise and they suffer from high computational costs. In this paper, we propose an approach to enhance the performance of QG by fusing word transformation. Firstly, we identify the inflected forms of words from the input of encoder, and replace them with the root words, letting the encoder pay more attention to the repetitive root words. Secondly, we propose to adapt QG as a combination of the following actions in the encode-decoder framework: generating a question word, copying a word from the source sequence or generating a word transformation type. Such extension can greatly decrease the size of predicted words in the decoder as well as noise. We apply our approach to a typical RNN-based model and \textsc{UniLM} to get the improved versions. We conduct extensive experiments on SQuAD and MS MARCO datasets. The experimental results show that the improved versions can significantly outperform the corresponding baselines in terms of BLEU, ROUGE-L and METEOR as well as time cost.
• Abstract（参考訳）: エンコーダ-デコーダフレームワークを備えたニューラルモデルは、質問生成(QG)の実現可能なソリューションを提供する。 しかし、モデル語彙を解析した結果、現在のモデル(rnnベースとプレトレーニングベースの両方)は23\%以上の屈折形式を持つことがわかった。 その結果、エンコーダは入力されたフォームに対して別の埋め込みを生成し、トレーニングデータとパラメータの浪費につながる。 さらに悪いことに、復号化においてこれらのモデルは無関係な雑音に弱いため、計算コストが高い。 本稿では,単語変換を融合させることによりQGの性能を向上させる手法を提案する。 まず、エンコーダの入力から入力された単語を識別し、それを根語に置き換えることで、エンコーダは繰り返し根語にもっと注意を払うことができる。 次に、qgをエンコード・デコーダフレームワークにおける以下の動作の組み合わせとして適用することを提案する。 質問語の生成、ソースシーケンスからの単語のコピー、あるいはワード変換型の生成。 このような拡張は、デコーダ内の予測語のサイズとノイズを大幅に減らすことができる。 改良版を得るために、典型的なRNNベースモデルと \textsc{UniLM} にアプローチを適用する。 我々は、SQuADおよびMS MARCOデータセットに関する広範な実験を行う。 実験の結果,改良版はBLEU,ROUGE-L,METEOR,時間的コストにおいて,対応するベースラインを著しく上回ることがわかった。

関連論文リスト

• Multi-Granularity Guided Fusion-in-Decoder [7.87348193562399]
  複数レベルの粒度にまたがる証拠を識別するために,MGFiD(Multi-Granularity Guided Fusion-in-Decoder)を提案する。 MGFiDは、マルチタスク学習に基づいて、文分類でランク付けされた経路を調和させる。 通過プルーニングにおける経路再ランクの結果を再利用することにより、復号効率を向上させる。
  論文  参考訳（メタデータ） (2024-04-03T08:56:00Z)
• A Framework for Bidirectional Decoding: Case Study in Morphological Inflection [4.602447284133507]
  外部からシーケンスを復号するフレームワークを提案する。 各ステップで、モデルは左、右にトークンを生成するか、左と右のシーケンスを結合するかを選択します。 我々のモデルは2022年と2023年の共有タスクに最先端のSOTA(State-of-the-art)を設定し、それぞれ平均精度4.7ポイントと2.7ポイント以上で次の最高のシステムを上回った。
  論文  参考訳（メタデータ） (2023-05-21T22:08:31Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
  シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。 本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
  論文  参考訳（メタデータ） (2022-05-30T08:25:36Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
  本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
  論文  参考訳（メタデータ） (2022-03-07T15:28:36Z)
• Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding [0.0]
  本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。 1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。 RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
  論文  参考訳（メタデータ） (2022-01-27T19:13:42Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator [61.70748716353692]
  オーディオ・ビジュアル・シーン・アウェア・ダイアログ(AVSD)は、あるシーン、ビデオ、オーディオ、ダイアログの前のターン履歴で質問に対する応答を生成するタスクである。 このタスクの既存のシステムは、エンコーダ-デコーダフレームワークを備えたトランスフォーマーまたはリカレントニューラルネットワークベースのアーキテクチャを採用している。 本稿では,マルチモーダル・セマンティック・トランスフォーマー・ネットワークを提案し,単語の埋め込みを問合せすることで単語を生成する単語埋め込み層を備えたトランスフォーマー・アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-01T07:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。