論文の概要: Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation

• arxiv url: http://arxiv.org/abs/2209.04179v1
• Date: Fri, 9 Sep 2022 08:33:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:16:22.904764
• Title: Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation
• Title（参考訳）: 質問生成のためのテキスト構造知識を用いた事前学習モデルの強化
• Authors: Zichen Wu, Xin Jia, Fanyi Qu, Yunfang Wu (Key Laboratory of Computational Linguistics, Ministry of Education, China, School of Computer Science, Peking University, China)
• Abstract要約: テキスト構造を応答位置と構文依存としてモデル化し,これらの制約に対処するために応答局所性モデリングと構文マスクアテンションを提案する。 SQuADデータセットの実験により、提案した2つのモジュールは、トレーニング済みの強力なモデルであるProphetNetよりも性能が向上することが示された。
• 参考スコア（独自算出の注目度）: 2.526624977753083
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Today the pre-trained language models achieve great success for question generation (QG) task and significantly outperform traditional sequence-to-sequence approaches. However, the pre-trained models treat the input passage as a flat sequence and are thus not aware of the text structure of input passage. For QG task, we model text structure as answer position and syntactic dependency, and propose answer localness modeling and syntactic mask attention to address these limitations. Specially, we present localness modeling with a Gaussian bias to enable the model to focus on answer-surrounded context, and propose a mask attention mechanism to make the syntactic structure of input passage accessible in question generation process. Experiments on SQuAD dataset show that our proposed two modules improve performance over the strong pre-trained model ProphetNet, and combing them together achieves very competitive results with the state-of-the-art pre-trained model.
• Abstract（参考訳）: 今日、事前学習された言語モデルは質問生成(qg)タスクで大きな成功を収め、従来のシーケンスからシーケンスへのアプローチを大きく上回っている。 しかし、事前訓練されたモデルは入力路をフラットシーケンスとして扱うため、入力路のテキスト構造を意識していない。 QGタスクでは、テキスト構造を応答位置と構文依存としてモデル化し、これらの制限に対処するために、応答局所性モデリングと構文マスクアテンションを提案する。 特に,ガウスバイアスを用いた局所性モデルを提案し,回答を取り巻く文脈に焦点を合わせ,質問生成プロセスにおいて入力経路の統語的構造をアクセス可能にするマスクアテンション機構を提案する。 squadデータセットを用いた実験により,提案する2つのモジュールにより,事前学習モデルであるprophetnetの性能が向上し,最新の事前学習モデルと非常に競争的な結果が得られた。

関連論文リスト

• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• Zero-shot Visual Question Answering with Language Model Feedback [83.65140324876536]
  知識に基づく視覚的質問応答(VQA)のための言語モデル指導型キャプションアプローチ LAMOC を提案する。 提案手法では,予備学習言語モデル (PLM) である回答予測モデルの文脈として,キャプションモデルによって生成されたキャプションを用いる。
  論文  参考訳（メタデータ） (2023-05-26T15:04:20Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Tracing Origins: Coref-aware Machine Reading Comprehension [43.352833140317486]
  そこで,本研究では,アナフォリック表現を接続する際の人間の読影過程を模倣し,コア参照情報を活用し,事前学習モデルから単語の埋め込みを強化する。 学習段階におけるコア参照情報の明示的な組み込みは,事前学習言語モデルの訓練において,コア参照情報の組み込みよりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2021-10-15T09:28:35Z)
• OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction [8.066349353140819]
  単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。 モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。 本モデルは,両サブタスクの上位10システムにランクインした。
  論文  参考訳（メタデータ） (2021-05-12T09:27:46Z)
• Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations [27.244943870086175]
  seq2seq(sequence-to-sequence)モデルは、分散構成の一般化に苦しむことが知られている。 事前訓練されたseq2seqモデルにおける中間表現が組成一般化に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-04-15T14:15:14Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection [22.883725214057286]
  本稿では,意図に基づく言語モデル学習のための新しいアーキテクチャを提案する。 そこで本研究では,意図分布,単語特徴,トークン表現を融合させることで,スロット充足作業の強化を図る。 標準データセットによる実験結果から,我々のモデルは現在の非BERT状態と,より強力なBERTベースラインの両方に優れることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T15:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。