論文の概要: Do Response Selection Models Really Know What's Next? Utterance Manipulation Strategies for Multi-turn Response Selection

• arxiv url: http://arxiv.org/abs/2009.04703v2
• Date: Wed, 16 Dec 2020 11:28:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 02:44:08.185011
• Title: Do Response Selection Models Really Know What's Next? Utterance Manipulation Strategies for Multi-turn Response Selection
• Title（参考訳）: 反応選択モデル、次は何になるのか? マルチターン応答選択のための発話操作戦略
• Authors: Taesun Whang, Dongyub Lee, Dongsuk Oh, Chanhee Lee, Kijong Han, Dong-hun Lee, Saebyeok Lee
• Abstract要約: 本研究では,検索に基づく対話システムにおけるユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。 この問題に対処するための発話操作戦略(UMS)を提案する。 UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。
• 参考スコア（独自算出の注目度）: 11.465266718370536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the task of selecting the optimal response given a user and system utterance history in retrieval-based multi-turn dialog systems. Recently, pre-trained language models (e.g., BERT, RoBERTa, and ELECTRA) showed significant improvements in various natural language processing tasks. This and similar response selection tasks can also be solved using such language models by formulating the tasks as dialog--response binary classification tasks. Although existing works using this approach successfully obtained state-of-the-art results, we observe that language models trained in this manner tend to make predictions based on the relatedness of history and candidates, ignoring the sequential nature of multi-turn dialog systems. This suggests that the response selection task alone is insufficient for learning temporal dependencies between utterances. To this end, we propose utterance manipulation strategies (UMS) to address this problem. Specifically, UMS consist of several strategies (i.e., insertion, deletion, and search), which aid the response selection model towards maintaining dialog coherence. Further, UMS are self-supervised methods that do not require additional annotation and thus can be easily incorporated into existing approaches. Extensive evaluation across multiple languages and models shows that UMS are highly effective in teaching dialog consistency, which leads to models pushing the state-of-the-art with significant margins on multiple public benchmark datasets.
• Abstract（参考訳）: 本稿では,検索に基づくマルチターン対話システムにおいて,ユーザとシステム発話履歴の最適応答を選択するタスクについて検討する。 近年、事前訓練された言語モデル(BERT、RoBERTa、ELECTRAなど)は、様々な自然言語処理タスクにおいて大幅に改善されている。 この類似した応答選択タスクは、タスクをダイアログ応答バイナリ分類タスクとして定式化することで、このような言語モデルを使っても解決できる。 このアプローチを用いた既存の研究は、最先端の成果を得たが、この方法で訓練された言語モデルは、履歴と候補の関連性に基づいて予測を行う傾向にあり、マルチターンダイアログシステムのシーケンシャルな性質を無視している。 このことから, 発話間の時間的依存を学習するには, 応答選択だけでは不十分であることが示唆された。 そこで本稿では,この問題に対処する発話操作戦略(UMS)を提案する。 具体的には、UMSは、ダイアログコヒーレンスを維持するための応答選択モデルを支援するいくつかの戦略(挿入、削除、検索)から構成される。 さらに、UMSはアノテーションを必要とせず、既存のアプローチに簡単に組み込むことができる自己教師型手法である。 複数の言語やモデルにわたる広範囲な評価は、UMSがダイアログの一貫性を教えるのに非常に効果的であることを示している。

関連論文リスト

• Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations [11.566214724241798]
  本研究では,会話の特定の構造的属性間でのモデル性能を調査する手法を提案する。 我々はモデルの弱点を診断するために、応答選択とアドレス認識タスクに焦点をあてる。 その結果、応答選択は会話のテキストの内容に依存しており、アドレス認識ではその構造的次元を捉える必要があることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T10:07:33Z)
• UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems [43.266153244137215]
  大規模言語モデル(LLM)は多くの自然言語理解および生成タスクにおいて例外的な機能を示している。 我々は、パーソナライズされた応答を3つのサブタスク(知識ソース選択、知識検索、応答生成)に分解する。 統一多ソース検索拡張生成システム(UniMS-RAG)を提案する。
  論文  参考訳（メタデータ） (2024-01-24T06:50:20Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Context-Aware Language Modeling for Goal-Oriented Dialogue Systems [84.65707332816353]
  我々は、部分的に観察されたマルコフ決定過程としてゴール指向対話を定式化する。 目的を意識して言語モデルを微調整する,シンプルで効果的な手法を考案する。 本研究では,AirDialogue を用いた実践的なフライト予約タスクについて評価する。
  論文  参考訳（メタデータ） (2022-04-18T17:23:11Z)
• Small Changes Make Big Differences: Improving Multi-turn Response Selection \\in Dialogue Systems via Fine-Grained Contrastive Learning [27.914380392295815]
  検索に基づく対話応答選択は、マルチターンコンテキストが与えられた候補集合から適切な応答を求めることを目的としている。 PLMに基づく応答選択タスクのための新しいtextbfFine-textbfGrained textbfContrastive (FGC) 学習法を提案する。
  論文  参考訳（メタデータ） (2021-11-19T11:07:07Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots [47.40380290055558]
  話者変化情報を認識させる新しいモデルとして,話者認識BERT (SA-BERT) を提案する。 絡み合った対話に対処するために,話者認識型アンタングル化戦略を提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。