論文の概要: Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2004.01909v1
• Date: Sat, 4 Apr 2020 11:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 22:34:49.688336
• Title: Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models
• Title（参考訳）: シーケンス・ツー・シーケンス・アーキテクチャと事前学習言語モデルによる会話型質問修正
• Authors: Sheng-Chieh Lin, Jheng-Hong Yang, Rodrigo Nogueira, Ming-Feng Tsai, Chuan-Ju Wang, Jimmy Lin
• Abstract要約: 本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。 我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
• 参考スコア（独自算出の注目度）: 56.268862325167575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an empirical study of conversational question reformulation (CQR) with sequence-to-sequence architectures and pretrained language models (PLMs). We leverage PLMs to address the strong token-to-token independence assumption made in the common objective, maximum likelihood estimation, for the CQR task. In CQR benchmarks of task-oriented dialogue systems, we evaluate fine-tuned PLMs on the recently-introduced CANARD dataset as an in-domain task and validate the models using data from the TREC 2019 CAsT Track as an out-domain task. Examining a variety of architectures with different numbers of parameters, we demonstrate that the recent text-to-text transfer transformer (T5) achieves the best results both on CANARD and CAsT with fewer parameters, compared to similar transformer architectures.
• Abstract（参考訳）: 本稿では,sequence-to-sequence architectures and pretrained language models (plms) を用いた対話型質問再構成(cqr)に関する実証研究を行う。 我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン対トークンの強い独立性の仮定に対処する。 タスク指向対話システムのCQRベンチマークにおいて、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータをドメイン外タスクとして検証する。 近年のテキスト・テキスト・トランスフォーマー(T5)は,CANARDとCAsTの両方において,類似のトランスフォーマーアーキテクチャと比較して,より少ないパラメータで最良の結果が得られることを示した。

関連論文リスト

• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Structural Self-Supervised Objectives for Transformers [3.018656336329545]
  この論文は、教師なし生データを用いて自然言語モデルの事前学習を改善することに焦点を当てている。 第一部では,BERT の Masked Language Modeling (MLM) に対する3つの事前学習目標について紹介する。 第2部では、下流アプリケーションと構造的に整合する自己教師付き事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:30:45Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)
• Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization [18.791701342934605]
  Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。 この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。 本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
  論文  参考訳（メタデータ） (2021-12-22T05:34:56Z)
• BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context [0.0]
  我々はこの手法をBETと呼び、トランスフォーマーベースのアーキテクチャ上でのバックトランスレーションデータ拡張を分析する。 以上の結果から,BETはMicrosoft Research Paraphrase Corpusのパラフレーズ識別性能を,精度とF1スコアの両方で3%以上向上することが示唆された。
  論文  参考訳（メタデータ） (2020-09-25T22:06:06Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。