論文の概要: Effectiveness of French Language Models on Abstractive Dialogue Summarization Task

• arxiv url: http://arxiv.org/abs/2207.08305v1
• Date: Sun, 17 Jul 2022 21:43:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 02:53:31.894654
• Title: Effectiveness of French Language Models on Abstractive Dialogue Summarization Task
• Title（参考訳）: 抽象対話要約課題におけるフランス語モデルの有効性
• Authors: Yongxin Zhou, Fran\c{c}ois Portet, Fabien Ringeval
• Abstract要約: 本稿では,複数の言語固有の事前学習モデルを用いて,フランス語における自発的口頭対話の要約について検討する。 以上の結果から,BARThezモデルは従来のDECDAの最先端モデルよりもはるかに優れた性能を示した。
• 参考スコア（独自算出の注目度）: 5.556906034471034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models have established the state-of-the-art on various natural language processing tasks, including dialogue summarization, which allows the reader to quickly access key information from long conversations in meetings, interviews or phone calls. However, such dialogues are still difficult to handle with current models because the spontaneity of the language involves expressions that are rarely present in the corpora used for pre-training the language models. Moreover, the vast majority of the work accomplished in this field has been focused on English. In this work, we present a study on the summarization of spontaneous oral dialogues in French using several language specific pre-trained models: BARThez, and BelGPT-2, as well as multilingual pre-trained models: mBART, mBARThez, and mT5. Experiments were performed on the DECODA (Call Center) dialogue corpus whose task is to generate abstractive synopses from call center conversations between a caller and one or several agents depending on the situation. Results show that the BARThez models offer the best performance far above the previous state-of-the-art on DECODA. We further discuss the limits of such pre-trained models and the challenges that must be addressed for summarizing spontaneous dialogues.
• Abstract（参考訳）: 事前訓練された言語モデルは、対話要約を含む様々な自然言語処理タスクの最先端を確立しており、会議やインタビュー、電話での長い会話から重要な情報に素早くアクセスできる。 しかし、言語の自発性は、言語モデルの事前学習に使用されるコーパスにはほとんど存在しない表現を含むため、現在のモデルを扱うことは依然として困難である。 さらに、この分野で達成された作品のほとんどが英語に焦点が当てられている。 本研究では,言語固有の事前学習モデルであるBARThezとBelGPT-2と,mBART,mBARThez,mT5の多言語事前学習モデルを用いて,フランス語における自発音声対話の要約について検討する。 デコダ対話コーパス(コールセンター対話コーパス)において、コールセンター会話から状況に応じて1つまたは複数のエージェントとの抽象的なシナプスを生成することを目的として実験を行った。 以上の結果から,BARThezモデルは従来のDECDAの最先端モデルよりもはるかに優れた性能を示した。 さらに,このような事前学習モデルの限界と,自発的な対話を要約するために対処しなければならない課題についても論じる。

関連論文リスト

• Large Language Model based Situational Dialogues for Second Language Learning [7.450328495455734]
  第二言語学習において、シナリオベースの会話実践は、言語学習者が話し言葉の流布を達成するために重要である。 このギャップを埋めるために,学生が会話の実践を行うための状況対話モデルを提案する。 我々の状況対話モデルは大規模言語モデル(LLM)に基づいて微調整されており、オープンエンド会話の係り受け性とシナリオベースタスクの焦点を合わせることを目的としている。
  論文  参考訳（メタデータ） (2024-03-29T06:43:55Z)
• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue [20.79359173822053]
  本稿では,対話前学習モデルFutureTODを提案する。 我々の直感は、良い対話表現はどちらも局所的な文脈情報を学び、将来の情報を予測することである。
  論文  参考訳（メタデータ） (2023-06-17T10:40:07Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Post-Training Dialogue Summarization using Pseudo-Paraphrasing [12.083992819138716]
  本稿では,対話から物語への言い換えとして,事前訓練済み言語モデル(PLM)を提案する。 総合的な実験により,本手法は対話要約におけるバニラPLMを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-04-28T13:42:19Z)
• DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization [19.918194137007653]
  本稿では,長い対話理解と要約のための事前学習フレームワークを提案する。 長い会話の性質を考慮し、生成前学習のためのウィンドウベースの認知的アプローチを提案する。 我々は,対話要約,抽象的質問応答,トピックセグメンテーションのタスクをカバーする,長文対話の5つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-09-06T13:55:03Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。