論文の概要: DialBERT: A Hierarchical Pre-Trained Model for Conversation Disentanglement

• arxiv url: http://arxiv.org/abs/2004.03760v2
• Date: Mon, 13 Sep 2021 03:00:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 08:46:07.578757
• Title: DialBERT: A Hierarchical Pre-Trained Model for Conversation Disentanglement
• Title（参考訳）: DialBERT:会話の絡み合いの階層的事前学習モデル
• Authors: Tianda Li, Jia-Chen Gu, Xiaodan Zhu, Quan Liu, Zhen-Hua Ling, Zhiming Su, Si Wei
• Abstract要約: そこで我々は,DialBERT (DialBERT) という新しいモデルを提案する。このモデルでは,局所的およびグローバルなセマンティクスを単一のメッセージストリームに統合し,混在する会話をアンハングリングする。 BERTを用いて発話レベルの各発話ペアのマッチング情報をキャプチャし、BiLSTMを用いてコンテキストレベルの情報を集約し、組み込む。 パラメータがわずか3%増加しただけで、F1-Scoreに基づくBERTと比較して12%の改善が達成された。
• 参考スコア（独自算出の注目度）: 47.403802900555576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disentanglement is a problem in which multiple conversations occur in the same channel simultaneously, and the listener should decide which utterance is part of the conversation he will respond to. We propose a new model, named Dialogue BERT (DialBERT), which integrates local and global semantics in a single stream of messages to disentangle the conversations that mixed together. We employ BERT to capture the matching information in each utterance pair at the utterance-level, and use a BiLSTM to aggregate and incorporate the context-level information. With only a 3% increase in parameters, a 12% improvement has been attained in comparison to BERT, based on the F1-Score. The model achieves a state-of-the-art result on the a new dataset proposed by IBM and surpasses previous work by a substantial margin.
• Abstract（参考訳）: 複数の会話が同じチャンネルで同時に発生する問題であり、聞き手はどの発話が応答する会話の一部であるかを決定するべきである。 本研究では,単一のメッセージストリームに局所的意味論とグローバル的意味論を統合し,混合した会話を分離する対話bert(dialbert)という新しいモデルを提案する。 BERTを用いて発話レベルの各発話ペアのマッチング情報をキャプチャし、BiLSTMを用いてコンテキストレベルの情報を集約し、組み込む。 パラメータがわずか3%増加しただけで、F1-Scoreに基づくBERTと比較して12%の改善が達成された。 このモデルは、IBMが提案した新しいデータセットで最先端の結果を達成し、以前の成果をかなりの差で上回る。

関連論文リスト

• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation [75.60156479374416]
  CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
  論文  参考訳（メタデータ） (2022-11-21T16:21:41Z)
• Dial2vec: Self-Guided Contrastive Learning of Unsupervised Dialogue Embeddings [41.79937481022846]
  教師なし対話の埋め込みを学習するタスクについて紹介する。 事前学習された単語や文の埋め込みや、事前学習された言語モデルによるエンコーディングといったトライアル的なアプローチは、実現可能であることが示されている。 本稿では,Dial2vecという自己指導型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-27T11:14:06Z)
• Findings on Conversation Disentanglement [28.874162427052905]
  発話から発話への分類と発話からスレッドへの分類を学習する学習モデルを構築した。 Ubuntu IRCデータセットの実験は、このアプローチが従来の欲求的アプローチを上回る可能性があることを示している。
  論文  参考訳（メタデータ） (2021-12-10T05:54:48Z)
• Emotion Dynamics Modeling via BERT [7.3785751096660555]
  対話型感情ダイナミクスのインターロケータ間およびインターロケータ間依存性をキャプチャするBERTベースの一連のモデルを開発する。 提案したモデルはそれぞれ,最先端のベースラインよりも約5%,10%改善できる。
  論文  参考訳（メタデータ） (2021-04-15T05:58:48Z)
• DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances [18.199473005335093]
  本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-12-03T09:06:23Z)
• Modeling Topical Relevance for Multi-Turn Dialogue Generation [61.87165077442267]
  マルチターン対話におけるトピックドリフト問題に対処する新しいモデルSTAR-BTMを提案する。 バイラルトピックモデルは、トレーニングデータセット全体に基づいて事前トレーニングされ、各コンテキストのトピック表現に基づいてトピックレベルの注意重みが計算される。 中国における顧客サービスデータと英語Ubuntuの対話データの両方の実験結果から、STAR-BTMは最先端の手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-09-27T03:33:22Z)
• BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text [9.475039534437332]
  本稿では,RoBERTa と ALBERT を用いた文脈適応型単語埋め込みを用いた予測アンサンブルモデルを提案する。 提案手法は,F1スコアにおいて,F1スコアにおいて3%の精度向上を達成し,すべての基準値においてベースモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-01T19:52:01Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。