論文の概要: Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots

• arxiv url: http://arxiv.org/abs/2004.03588v2
• Date: Thu, 30 Jul 2020 01:27:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:56:46.770322
• Title: Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots
• Title（参考訳）: 検索型チャットボットにおけるマルチターン応答選択のための話者認識bert
• Authors: Jia-Chen Gu, Tianda Li, Quan Liu, Zhen-Hua Ling, Zhiming Su, Si Wei, Xiaodan Zhu
• Abstract要約: 話者変化情報を認識させる新しいモデルとして,話者認識BERT (SA-BERT) を提案する。 絡み合った対話に対処するために,話者認識型アンタングル化戦略を提案する。
• 参考スコア（独自算出の注目度）: 47.40380290055558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of employing pre-trained language models for multi-turn response selection in retrieval-based chatbots. A new model, named Speaker-Aware BERT (SA-BERT), is proposed in order to make the model aware of the speaker change information, which is an important and intrinsic property of multi-turn dialogues. Furthermore, a speaker-aware disentanglement strategy is proposed to tackle the entangled dialogues. This strategy selects a small number of most important utterances as the filtered context according to the speakers' information in them. Finally, domain adaptation is performed to incorporate the in-domain knowledge into pre-trained language models. Experiments on five public datasets show that our proposed model outperforms the present models on all metrics by large margins and achieves new state-of-the-art performances for multi-turn response selection.
• Abstract（参考訳）: 本稿では,検索型チャットボットのマルチターン応答選択に事前学習した言語モデルを用いる問題について検討する。 話者認識BERT (SA-BERT) と呼ばれる新しいモデルを提案し,マルチターン対話の重要かつ本質的な特性である話者変化情報をモデルに認識させる。 さらに, 会話の絡み合いに取り組むために, 話者認識の絡み合い方略を提案する。 この戦略は、話者の情報に基づいてフィルタされた文脈として、少数の重要な発話を選択する。 最後に、ドメイン適応を行い、事前学習された言語モデルにドメイン内知識を組み込む。 5つの公開データセットの実験結果から,提案したモデルがすべての指標の現在のモデルよりも大きなマージンで優れており,マルチターン応答選択のための新しい最先端性能を実現していることが示された。

関連論文リスト

• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition [48.527630771422935]
  複数話者対話型ASRのための合成データ生成パイプラインを提案する。 我々は、電話と遠隔会話音声設定のためのWhisper ASRモデルを微調整して評価を行う。
  論文  参考訳（メタデータ） (2024-08-17T14:47:05Z)
• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• Self- and Pseudo-self-supervised Prediction of Speaker and Key-utterance for Multi-party Dialogue Reading Comprehension [46.69961067676279]
  マルチパーティ対話機械読解(MRC)は,複数の話者が対話を行うため,大きな課題をもたらす。 従来のモデルは、複雑なグラフベースのモジュールを使用して話者情報フローを組み込む方法に重点を置いていた。 本稿では、話者情報の流れを暗黙的にモデル化するために、話者とキー発話における2つの労働自由自助的・疑似自己監督型予測タスクを設計する。
  論文  参考訳（メタデータ） (2021-09-08T16:51:41Z)
• Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring [60.55025339250815]
  本研究では、話者条件付き階層型モデリングと呼ばれる非ネイティブASSのための新しいディープラーニング手法を提案する。 本手法では, 口腔熟練度テストが候補に対して複数の応答を評価できるという事実を生かして, 候補に対して複数の応答を評価できる。これらの応答からコンテキストを抽出し, ネットワークに付加的な話者固有のコンテキストとして与えて, 特定の応答をスコアする。
  論文  参考訳（メタデータ） (2021-08-30T07:00:28Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Do Response Selection Models Really Know What's Next? Utterance Manipulation Strategies for Multi-turn Response Selection [11.465266718370536]
  本研究では,検索に基づく対話システムにおけるユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。 この問題に対処するための発話操作戦略(UMS)を提案する。 UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。
  論文  参考訳（メタデータ） (2020-09-10T07:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。