論文の概要: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
- arxiv url: http://arxiv.org/abs/2306.04357v3
- Date: Wed, 14 Jun 2023 04:18:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 11:10:06.754919
- Title: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
- Title(参考訳): 検索型対話システムのためのテキスト自動エンコーダ
- Authors: Zhenpeng Su and Xing Wu and Wei Zhou and Guangyuan Ma and Songlin Hu
- Abstract要約: 対話応答の選択は、所定のユーザとシステム発話履歴に基づいて、複数の候補から適切な応答を選択することを目的としている。
近年, 学習後の対話応答選択の精度向上が試みられ, 主にナイーブなマスク付き言語モデリング手法に頼っている。
対話応答選択に適した直感的かつ効果的なポストトレーニング手法であるDial-MAE(Dialogue Contextual Masking Auto-Encoder)を提案する。
- 参考スコア(独自算出の注目度): 21.06857395911063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dialogue response selection aims to select an appropriate response from
several candidates based on a given user and system utterance history. Recent
studies have been improving the accuracy of dialogue response selection through
post-training, mostly relying on naive masked language modeling methods.
However, the recently developed generative methods have shown promising text
representation capabilities in IR community, which could potentially lead to
better dialogue semantics modeling. Thus, in this paper, we propose Dial-MAE
(Dialogue Contextual Masking Auto-encoder), a straightforward yet effective
post-training technique tailored for dialogue response selection. Dial-MAE uses
an asymmetric encoder-decoder architecture that learns to better compress the
semantics of the dialogue into dialogue-dense vectors. The process of Dial-MAE
involves a deep encoder creating a dialogue embedding with the masked dialogue
context, followed by a shallow decoder that uses this embedding along with the
highly masked response to restore the original response. Our experiments have
demonstrated that Dial-MAE is highly effective, achieving state-of-the-art
performance on two commonly evaluated benchmarks.
- Abstract(参考訳): 対話応答選択は、与えられたユーザとシステム発話履歴に基づいて、複数の候補から適切な応答を選択することを目的としている。
近年, 学習後の対話応答選択の精度が向上し, 主にナイーブマスク型言語モデリング手法に依拠している。
しかし、最近開発された生成手法は、IRコミュニティにおいて有望なテキスト表現能力を示しており、よりよい対話セマンティクスモデリングにつながる可能性がある。
そこで本稿では,対話応答選択のための自動学習手法であるdialog-mae(dialogue context masking auto-encoder)を提案する。
dial-maeは非対称エンコーダ-デコーダアーキテクチャを使用して、対話の意味を対話型ベクトルに圧縮する。
Dial-MAEのプロセスでは、ディープエンコーダがダイアログのコンテキストに埋め込まれたディープエンコーダを作成し、続いて浅層デコーダが、この埋め込みとマスキングされた応答を使って元の応答を復元する。
実験の結果,dial-maeは2つのベンチマークで最先端の性能を得られた。
関連論文リスト
- DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。
提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。
様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
論文 参考訳(メタデータ) (2024-01-02T07:40:12Z) - Contextual Data Augmentation for Task-Oriented Dialog Systems [8.085645180329417]
本研究では,ユーザターンを生成する新しいダイアログ拡張モデルを構築し,完全なダイアログコンテキストを条件づける。
言語モデルの新しいプロンプト設計と出力の再ランク付けにより、我々のモデルから生成されたダイアログを直接使用して、下流ダイアログシステムのトレーニングを行うことができる。
論文 参考訳(メタデータ) (2023-10-16T13:22:34Z) - Fine-grained Conversational Decoding via Isotropic and Proximal Search [17.904421465456814]
本稿では, テクスティフィケーションと近位探索(IPS)と呼ばれる, きめ細かい会話復号法を提案する。
本手法は,文脈に対する情報伝達と識別を維持しつつ,意味集中型応答を生成するように設計されている。
実験により,本手法は,自動評価指標と人的評価指標の両方において,対話分野における既存の復号化戦略よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-12T08:38:12Z) - EM Pre-training for Multi-party Dialogue Response Generation [86.25289241604199]
多人数対話では、応答発話の宛先を生成前に指定する必要がある。
本稿では,アドレナラベルを生成するための期待ステップを反復的に実行する期待最大化(EM)アプローチを提案する。
論文 参考訳(メタデータ) (2023-05-21T09:22:41Z) - SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog
Understanding and Generation [123.37377363355363]
SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。
幅広いダウンストリームダイアログタスクを効果的に微調整できる。
その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
論文 参考訳(メタデータ) (2022-09-14T14:17:57Z) - Response Generation with Context-Aware Prompt Learning [19.340498579331555]
本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。
限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。
提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
論文 参考訳(メタデータ) (2021-11-04T05:40:13Z) - Filling the Gap of Utterance-aware and Speaker-aware Representation for
Multi-turn Dialogue [76.88174667929665]
マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。
既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。
本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-09-14T15:07:19Z) - Controlling Dialogue Generation with Semantic Exemplars [55.460082747572734]
本稿では,経験的応答に現れる意味的フレームを用いて生成をガイドする,経験的対話生成モデルEDGEを提案する。
単語自体の単語ではなく、経験者の意味的フレームに基づく対話生成の制御により、生成した応答の一貫性が向上することを示す。
論文 参考訳(メタデータ) (2020-08-20T17:02:37Z) - Conversation Learner -- A Machine Teaching Tool for Building Dialog
Managers for Task-Oriented Dialog Systems [57.082447660944965]
Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。
ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。
ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
論文 参考訳(メタデータ) (2020-04-09T00:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。