Fugu-MT 論文翻訳(概要): DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings

論文の概要: DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings

arxiv url: http://arxiv.org/abs/2109.12599v1
Date: Sun, 26 Sep 2021 13:25:41 GMT
ステータス: 処理完了
システム内更新日: 2021-09-28 15:36:57.961877
Title: DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings
Title（参考訳）: 対話CSE: 文埋め込みの対話型コントラスト学習
Authors: Che Liu, Rui Wang, Jinghua Liu, Jian Sun, Fei Huang, Luo Si
Abstract要約: 本稿では,対話型コントラスト学習手法であるDialogueCSEを提案する。我々は,Microsoft Dialogue Corpus,Jing Dong Dialogue Corpus,E-Commerce Dialogue Corpusの3つの多ターン対話データセットについて評価を行った。
参考スコア（独自算出の注目度）: 33.89889949577356
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning sentence embeddings from dialogues has drawn increasing attention due to its low annotation cost and high domain adaptability. Conventional approaches employ the siamese-network for this task, which obtains the sentence embeddings through modeling the context-response semantic relevance by applying a feed-forward network on top of the sentence encoders. However, as the semantic textual similarity is commonly measured through the element-wise distance metrics (e.g. cosine and L2 distance), such architecture yields a large gap between training and evaluating. In this paper, we propose DialogueCSE, a dialogue-based contrastive learning approach to tackle this issue. DialogueCSE first introduces a novel matching-guided embedding (MGE) mechanism, which generates a context-aware embedding for each candidate response embedding (i.e. the context-free embedding) according to the guidance of the multi-turn context-response matching matrices. Then it pairs each context-aware embedding with its corresponding context-free embedding and finally minimizes the contrastive loss across all pairs. We evaluate our model on three multi-turn dialogue datasets: the Microsoft Dialogue Corpus, the Jing Dong Dialogue Corpus, and the E-commerce Dialogue Corpus. Evaluation results show that our approach significantly outperforms the baselines across all three datasets in terms of MAP and Spearman's correlation measures, demonstrating its effectiveness. Further quantitative experiments show that our approach achieves better performance when leveraging more dialogue context and remains robust when less training data is provided.
Abstract（参考訳）: 対話からの文の埋め込みの学習は、アノテーションコストの低さとドメイン適応性の高さから注目されている。従来の手法では, 文エンコーダ上にフィードフォワードネットワークを適用することにより, 文脈応答意味関係をモデル化し, 文埋め込みを得る。しかしながら、意味的テクスト的類似性は要素間距離(例えばコサインとl2距離)で一般的に測定されるので、そのようなアーキテクチャはトレーニングと評価の間に大きなギャップをもたらす。本稿では,対話型コントラスト学習手法であるDialogueCSEを提案する。ダイアログCSEは、まず、マルチターンコンテキスト応答マッチング行列のガイダンスに基づいて、各候補応答埋め込み(すなわち、文脈自由埋め込み)に対してコンテキスト認識の埋め込みを生成する新しいマッチング誘導埋め込み(MGE)機構を導入する。そして、各コンテキスト認識の埋め込みと対応する文脈自由な埋め込みをペアリングし、最終的にすべてのペア間のコントラスト損失を最小化する。我々は,Microsoft Dialogue Corpus,Jing Dong Dialogue Corpus,E-Commerce Dialogue Corpusの3つの多ターン対話データセットについて評価を行った。評価の結果,本手法はMAPとSpearmanの相関測度で3つのデータセットのベースラインを大幅に上回り,その有効性を示した。さらに定量的な実験を行った結果,より多くの対話コンテキストを活用する場合のパフォーマンスが向上し,トレーニングデータが少ない場合には堅牢性が維持できることがわかった。

関連論文リスト

Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence [11.217656140423207]
ASACは、1つ以上の候補者と対話する環境でL2話者の全体的な発話能力を評価することを目的としている。本稿では,広い応答間相互作用とニュアンス付き意味情報の両方を適切に組み込んだ階層グラフモデルを提案する。 NICT-JLEベンチマークデータセットの大規模な実験結果から,提案手法が予測精度を大幅に向上する可能性が示唆された。
論文参考訳（メタデータ） (2024-09-11T07:24:07Z)
Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
論文参考訳（メタデータ） (2024-04-15T17:56:39Z)
Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
論文参考訳（メタデータ） (2023-06-06T19:17:47Z)
FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
論文参考訳（メタデータ） (2023-03-31T23:58:28Z)
Improve Retrieval-based Dialogue System via Syntax-Informed Attention [46.79601705850277]
文内構文情報と文間構文情報の両方を考慮したSIA, Syntax-Informed Attentionを提案する。提案手法を広範に使用した3つのベンチマークで評価し,対話応答選択における本手法の一般的な優位性を示す実験結果を得た。
論文参考訳（メタデータ） (2023-03-12T08:14:16Z)
Dial2vec: Self-Guided Contrastive Learning of Unsupervised Dialogue Embeddings [41.79937481022846]
教師なし対話の埋め込みを学習するタスクについて紹介する。事前学習された単語や文の埋め込みや、事前学習された言語モデルによるエンコーディングといったトライアル的なアプローチは、実現可能であることが示されている。本稿では,Dial2vecという自己指導型コントラスト学習手法を提案する。
論文参考訳（メタデータ） (2022-10-27T11:14:06Z)
Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。提案手法は,複数の公開データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-22T10:13:27Z)
FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment Act Flows [63.116280145770006]
本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
論文参考訳（メタデータ） (2022-02-14T11:37:20Z)
Improving Multi-Party Dialogue Discourse Parsing via Domain Integration [25.805553277418813]
マルチパーティ会話は、対話的なターン間のセマンティックレベルの相関によって暗黙的に組織される。対話談話分析は,基本談話単位間の係り受け構造と関係の予測に応用できる。対話談話アノテーションを持つ既存のコーパスは、限られたサンプルサイズを持つ特定のドメインから収集される。
論文参考訳（メタデータ） (2021-10-09T09:36:22Z)
Dialogue-Based Relation Extraction [53.2896545819799]
本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
論文参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。