論文の概要: Does Dialog Length matter for Next Response Selection task? An Empirical Study

• arxiv url: http://arxiv.org/abs/2101.09647v1
• Date: Sun, 24 Jan 2021 05:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 09:15:39.243275
• Title: Does Dialog Length matter for Next Response Selection task? An Empirical Study
• Title（参考訳）: ダイアログ長は次の応答選択作業に重要か? 実証的研究
• Authors: Jatin Ganhotra, Sachindra Joshi
• Abstract要約: 対話長が次の応答選択ダイアログタスクにおけるBERTモデルの性能に及ぼす影響を実証的に評価します。 長いダイアログでのパフォーマンスにはほとんど影響がなく、入力を切断する最も単純なアプローチさえもうまく機能するのである。
• 参考スコア（独自算出の注目度）: 8.060930438865192
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the last few years, the release of BERT, a multilingual transformer based model, has taken the NLP community by storm. BERT-based models have achieved state-of-the-art results on various NLP tasks, including dialog tasks. One of the limitation of BERT is the lack of ability to handle long text sequence. By default, BERT has a maximum wordpiece token sequence length of 512. Recently, there has been renewed interest to tackle the BERT limitation to handle long text sequences with the addition of new self-attention based architectures. However, there has been little to no research on the impact of this limitation with respect to dialog tasks. Dialog tasks are inherently different from other NLP tasks due to: a) the presence of multiple utterances from multiple speakers, which may be interlinked to each other across different turns and b) longer length of dialogs. In this work, we empirically evaluate the impact of dialog length on the performance of BERT model for the Next Response Selection dialog task on four publicly available and one internal multi-turn dialog datasets. We observe that there is little impact on performance with long dialogs and even the simplest approach of truncating input works really well.
• Abstract（参考訳）: ここ数年、多言語トランスフォーマーベースのモデルであるBERTのリリースにより、NLPコミュニティは混乱に陥りました。 BERTベースのモデルは、ダイアログタスクを含む様々なNLPタスクで最先端の結果を得た。 BERTの制限の1つは、長いテキストシーケンスを扱う能力の欠如である。 デフォルトでは、BERTは最大ワードピーストークンのシーケンス長が512です。 近年,新たな自己注意型アーキテクチャの追加により,長いテキストシーケンスを扱うBERT制限に対処する関心が高まっている。 しかしながら、この制限がダイアログタスクに与える影響については、ほとんど研究されていない。 ダイアログタスクは他のNLPタスクとは本質的に異なる:a) 複数の話者からの複数の発話の存在。 本研究では,次の応答選択ダイアログタスクにおけるBERTモデルの性能に及ぼすダイアログ長の影響を,4つの公用および1つの内部マルチターンダイアログデータセット上で実証的に評価する。 長いダイアログでのパフォーマンスにはほとんど影響がなく、入力を切断する最も単純なアプローチさえもうまく機能するのである。

関連論文リスト

• SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [72.42049370297849]
  SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
  論文  参考訳（メタデータ） (2023-05-22T13:47:51Z)
• Prompting for a conversation: How to control a dialog model? [9.268682116424518]
  ダイアログモデルは大量のテキストでトレーニングされるが、その応答はダイアログエージェントの望ましいスコープとスタイルに制限される必要がある。 前者を達成するために使用されるデータセットには後者と互換性のない言語が含まれているため、事前訓練されたダイアログモデルは、より小さなキュレートされたデータセットで微調整される。 本稿では,上記のトレードオフを緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-09-22T14:59:55Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• A Slot Is Not Built in One Utterance: Spoken Language Dialogs with Sub-Slots [67.69407159704328]
  本稿では,SSTOD(Sub-Slot based Task-Oriented Dialog)というタスクを新たに定義する。 データセットには、中国名、電話番号、ID番号、ナンバープレート番号の4つのドメインから合計40Kのダイアログと500Kの発話が含まれている。 我々はSSTODに新たな言語現象と対話的方法を見いだし、タスクのためのダイアログエージェントを構築する上で重要な課題を提起する。
  論文  参考訳（メタデータ） (2022-03-21T07:10:19Z)
• What Did You Say? Task-Oriented Dialog Datasets Are Not Conversational!? [4.022057598291766]
  我々は,MultiWOZ,SGD,SMCalFlowの対話効果と文脈効果の分類を概説する。 我々は、MultiWOZのターンの4%未満、SGDのターンの10%が会話型であるのに対して、SMCalFlowは現在のリリースでは会話型ではないことを発見した。
  論文  参考訳（メタデータ） (2022-03-07T14:26:23Z)
• A Context-Aware Hierarchical BERT Fusion Network for Multi-turn Dialog Act Detection [6.361198391681688]
  CaBERT-SLUはコンテキスト対応階層型BERT融合ネットワーク(CaBERT-SLU)である 提案手法は,2つの複雑なマルチターン対話データセットにおいて,最新技術(SOTA)のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2021-09-03T02:00:03Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
  本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。 また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
  論文  参考訳（メタデータ） (2020-04-16T05:12:36Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。