論文の概要: Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
- arxiv url: http://arxiv.org/abs/2306.04357v5
- Date: Wed, 27 Mar 2024 03:06:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 11:56:31.518659
- Title: Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems
- Title（参考訳）: Dial-MAE:検索型対話システムのためのテキスト・マスク付き自動エンコーダ
- Authors: Zhenpeng Su, Xing Wu, Wei Zhou, Guangyuan Ma, Songlin Hu,
- Abstract要約: Dial-MAEは、対話応答選択における高密度エンコーダに適した、単純で効果的なポストトレーニング手法である。
実験の結果,Dial-MAEは高い有効性を示し,評価された2つのベンチマークで最先端の性能を実現することができた。
- 参考スコア（独自算出の注目度）: 22.302137281411646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dialogue response selection aims to select an appropriate response from several candidates based on a given user and system utterance history. Most existing works primarily focus on post-training and fine-tuning tailored for cross-encoders. However, there are no post-training methods tailored for dense encoders in dialogue response selection. We argue that when the current language model, based on dense dialogue systems (such as BERT), is employed as a dense encoder, it separately encodes dialogue context and response, leading to a struggle to achieve the alignment of both representations. Thus, we propose Dial-MAE (Dialogue Contextual Masking Auto-Encoder), a straightforward yet effective post-training technique tailored for dense encoders in dialogue response selection. Dial-MAE uses an asymmetric encoder-decoder architecture to compress the dialogue semantics into dense vectors, which achieves better alignment between the features of the dialogue context and response. Our experiments have demonstrated that Dial-MAE is highly effective, achieving state-of-the-art performance on two commonly evaluated benchmarks.
- Abstract（参考訳）: 対話応答の選択は、所定のユーザとシステム発話履歴に基づいて、複数の候補から適切な応答を選択することを目的としている。
既存のほとんどの作品は、主にクロスエンコーダ用に調整されたポストトレーニングと微調整に焦点を当てている。
しかし,対話応答選択における高密度エンコーダに適したポストトレーニング手法は存在しない。
我々は,高密度対話システム(BERTなど)をベースとした現在の言語モデルを高密度エンコーダとして使用する場合,対話コンテキストと応答を個別に符号化し,両表現の整合化に苦慮する。
そこで我々は,対話応答選択における高密度エンコーダに適した,単純かつ効果的なポストトレーニング手法であるDial-MAE(Dialogue Contextual Masking Auto-Encoder)を提案する。
Dial-MAEは非対称エンコーダデコーダアーキテクチャを用いて、対話のセマンティクスを高密度ベクトルに圧縮し、対話コンテキストの特徴と応答の整合性を改善する。
実験の結果,Dial-MAEは高い有効性を示し,評価された2つのベンチマークで最先端の性能を実現することができた。
関連論文リスト
- Fine-grained Conversational Decoding via Isotropic and Proximal Search [17.904421465456814]
本稿では, テクスティフィケーションと近位探索(IPS)と呼ばれる, きめ細かい会話復号法を提案する。
本手法は,文脈に対する情報伝達と識別を維持しつつ,意味集中型応答を生成するように設計されている。
実験により,本手法は,自動評価指標と人的評価指標の両方において,対話分野における既存の復号化戦略よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-12T08:38:12Z) - SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。
我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。
また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
論文 参考訳（メタデータ） (2023-05-15T06:08:01Z) - Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance
Representation [51.22712675266523]
対話トピック(DTS)は、様々な対話モデリングタスクにおいて重要な役割を果たす。
本稿では,ラベルなし対話データからトピック対応発話表現を学習する,教師なしDSSフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-04T11:35:23Z) - Dialog act guided contextual adapter for personalized speech recognition [9.672512327395435]
マルチターンダイアログにおけるパーソナライゼーションは、エンドツーエンドの自動音声認識(E2E ASR)モデルにとって長年の課題であった。
近年,ユーザカタログを用いた稀な単語認識に取り組みつつある。
本稿では,対話行動ガイド付きコンテキストアダプタネットワークを提案する。
論文 参考訳（メタデータ） (2023-03-31T05:13:44Z) - An Equal-Size Hard EM Algorithm for Diverse Dialogue Generation [27.445562543667357]
多様な対話生成のためのマルチデコーダモデルを学習するための等サイズハード期待-最大化アルゴリズムを提案する。
提案アルゴリズムでは, サンプルをハードな方法でデコーダに割り当て, また, 全てのデコーダが十分に訓練されていることを保証するために, 均等なアサインメント制約を課す。
論文 参考訳（メタデータ） (2022-09-29T08:41:32Z) - SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog
Understanding and Generation [123.37377363355363]
SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。
幅広いダウンストリームダイアログタスクを効果的に微調整できる。
その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
論文 参考訳（メタデータ） (2022-09-14T14:17:57Z) - Discovering Dialog Structure Graph for Open-Domain Dialog Generation [51.29286279366361]
chitchat corporaの対話構造を無監督で発見します。
次に、下流システムでのダイアログ生成を容易にするために利用します。
本稿では,グラフニューラルネットワーク(DVAE-GNN)を用いた離散変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2020-12-31T10:58:37Z) - Reasoning in Dialog: Improving Response Generation by Context Reading
Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。
読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文 参考訳（メタデータ） (2020-12-14T10:58:01Z) - Multi-turn Response Selection using Dialogue Dependency Relations [39.99448321736736]
マルチターン応答選択は対話エージェントを開発するために設計されたタスクである。
本稿では,対話履歴を依存関係に基づいてスレッドに変換する対話抽出アルゴリズムを提案する。
我々のモデルは、D7とDSTC8*の両方で最先端のベースラインを上回り、Ubuntu上での競合的な結果です。
論文 参考訳（メタデータ） (2020-10-04T08:00:19Z) - Hierarchical Pre-training for Sequence Labelling in Spoken Dialog [10.216901061363641]
音声対話に適応した汎用表現を学習するための新しい手法を提案する。
変換器アーキテクチャに基づく階層エンコーダを用いて表現を得る。
プレトレーニングはOpenSubtitles(英語版)で行われ、2.3億ドル以上のトークンを含む対話ダイアログの大規模なコーパスである。
論文 参考訳（メタデータ） (2020-09-23T13:54:57Z) - Conversation Learner -- A Machine Teaching Tool for Building Dialog
Managers for Task-Oriented Dialog Systems [57.082447660944965]
Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。
ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。
ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
論文 参考訳（メタデータ） (2020-04-09T00:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。