論文の概要: TaDSE: Template-aware Dialogue Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2305.14299v1
• Date: Tue, 23 May 2023 17:40:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 13:56:25.892766
• Title: TaDSE: Template-aware Dialogue Sentence Embeddings
• Title（参考訳）: TaDSE:テンプレート対応対話文埋め込み
• Authors: Minsik Oh, Jiwei Li, Guoyin Wang
• Abstract要約: 一般的な文埋め込み法は、通常、文レベルの自己管理フレームワークであり、トークンレベルの余分な知識を利用できない。 TaDSEは、各文を対応するテンプレートで拡張し、文とテンプレートの両方に対してペアワイズにコントラスト学習を行う。 実験結果から,TaDSEは従来のSOTA法よりも大幅に改善され,一貫した初期分類タスク性能改善のマージンが得られた。
• 参考スコア（独自算出の注目度）: 27.076663644996966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning high quality sentence embeddings from dialogues has drawn increasing attentions as it is essential to solve a variety of dialogue-oriented tasks with low annotation cost. However, directly annotating and gathering utterance relationships in conversations are difficult, while token-level annotations, \eg, entities, slots and templates, are much easier to obtain. General sentence embedding methods are usually sentence-level self-supervised frameworks and cannot utilize token-level extra knowledge. In this paper, we introduce Template-aware Dialogue Sentence Embedding (TaDSE), a novel augmentation method that utilizes template information to effectively learn utterance representation via self-supervised contrastive learning framework. TaDSE augments each sentence with its corresponding template and then conducts pairwise contrastive learning over both sentence and template. We further enhance the effect with a synthetically augmented dataset that enhances utterance-template relation, in which entity detection (slot-filling) is a preliminary step. We evaluate TaDSE performance on five downstream benchmark datasets. The experiment results show that TaDSE achieves significant improvements over previous SOTA methods, along with a consistent Intent Classification task performance improvement margin. We further introduce a novel analytic instrument of Semantic Compression method, for which we discover a correlation with uniformity and alignment. Our code will be released soon.
• Abstract（参考訳）: アノテーションコストの低い対話指向タスクの解決が不可欠であるため,対話から高品質な文の埋め込みを学習することが注目されている。 しかし、会話の中でアノテートや発話関係の収集は難しいが、トークンレベルのアノテーション、例えば、エンティティ、スロット、テンプレートは入手が容易である。 一般的な文埋め込み手法は通常文レベルの自己教師付きフレームワークであり、トークンレベルの余分な知識を活用できない。 本稿では,テンプレート情報を利用した自己教師付きコントラスト学習フレームワークによる発話表現を効果的に学習する,テンプレート対応対話文埋め込み(TaDSE)を提案する。 tadseは各文を対応するテンプレートで拡張し、文とテンプレートの両方でペアでコントラスト学習を行う。 エンティティ検出(スロットフィル)が予備的なステップである発話-テンプレート関係を強化する合成拡張データセットにより、さらに効果を高める。 5つのダウンストリームベンチマークデータセットでTaDSEの性能を評価する。 実験の結果,TaDSEは従来のSOTA法よりも大幅に改善され,一貫したインテント分類タスク性能改善マージンが得られた。 さらに,一様性とアライメントとの相関性を見出すために,意味圧縮法の新たな分析手法を提案する。 私たちのコードはまもなくリリースされます。

関連論文リスト

• Factual Dialogue Summarization via Learning from Large Language Models [35.63037083806503]
  大規模言語モデル(LLM)に基づく自動テキスト要約モデルは、より現実的に一貫した要約を生成する。 ゼロショット学習を用いて、LLMから記号的知識を抽出し、事実整合性(正)および矛盾性(負)の要約を生成する。 各種自動評価指標で確認したように,コヒーレンス,フラレンシ,関連性を保ちながら,より優れた事実整合性を実現する。
  論文  参考訳（メタデータ） (2024-06-20T20:03:37Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings [33.89889949577356]
  本稿では,対話型コントラスト学習手法であるDialogueCSEを提案する。 我々は,Microsoft Dialogue Corpus,Jing Dong Dialogue Corpus,E-Commerce Dialogue Corpusの3つの多ターン対話データセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-09-26T13:25:41Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。