論文の概要: Probing the Robustness of Trained Metrics for Conversational Dialogue Systems

• arxiv url: http://arxiv.org/abs/2202.13887v1
• Date: Mon, 28 Feb 2022 15:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 20:09:08.327904
• Title: Probing the Robustness of Trained Metrics for Conversational Dialogue Systems
• Title（参考訳）: 対話システムにおける学習メトリクスのロバスト性について
• Authors: Jan Deriu, Don Tuggener, Pius von D\"aniken and Mark Cieliebak
• Abstract要約: トレーニングされたメトリクスから最適なスコアを引き出す応答戦略を見つけるために、強化学習を使用します。 それらすべてが、比較的単純で明らかに欠陥のある戦略によって生成された応答に高いスコアを与えるのに感受性があることに気付きました。
• 参考スコア（独自算出の注目度）: 4.661309379738428
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces an adversarial method to stress-test trained metrics to evaluate conversational dialogue systems. The method leverages Reinforcement Learning to find response strategies that elicit optimal scores from the trained metrics. We apply our method to test recently proposed trained metrics. We find that they all are susceptible to giving high scores to responses generated by relatively simple and obviously flawed strategies that our method converges on. For instance, simply copying parts of the conversation context to form a response yields competitive scores or even outperforms responses written by humans.
• Abstract（参考訳）: 本稿では,対話システムを評価するために,ストレステストのための逆法を提案する。 この方法は強化学習を利用して、トレーニングされたメトリクスから最適なスコアを導き出す応答戦略を見つける。 提案手法を最近提案した評価基準に適用する。 比較的単純で明らかな欠陥のある戦略が生成した応答に対して高いスコアを与える傾向が,これらすべてにあることが分かりました。 例えば、会話コンテキストの一部をコピーして応答を形成するだけで、競争スコアや、人間が書いた応答よりも優れています。

関連論文リスト

• Joint Learning of Context and Feedback Embeddings in Spoken Dialogue [3.8673630752805446]
  コントラスト学習目標を用いて,同じ表現空間に短い対話コンテキストとフィードバック応答を埋め込む可能性を検討する。 実験結果から,本モデルは人間に同じランキングタスクを施し,学習された埋め込みはフィードバック応答の会話機能に関する情報を伝達することがわかった。
  論文  参考訳（メタデータ） (2024-06-11T14:22:37Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue [17.663449579168297]
  エージェントとユーザ(教師付き学習目標を持つエージェントに類似したモデル化)の対話をシミュレートし、相互に対話する。 エージェントは動的ブロッキングを使用して、ランク付けされた多様な応答と探索-探索を生成し、トップK応答の中から選択する。 2つのベンチマークによる実証研究は、我々のモデルが応答品質を著しく上回り、会話の成功につながることを示唆している。
  論文  参考訳（メタデータ） (2021-08-01T08:00:45Z)
• Self-supervised Dialogue Learning for Spoken Conversational Question Answering [29.545937716796082]
  音声対話質問応答(SCQA)では、複数の会話を含む固定された音声文書を検索して分析することにより、対応する質問に対する回答を生成する。 本研究では,不整合判定,挿入検出,質問予測などの自己教師付き学習手法を導入し,コア参照の解決と対話のコヒーレンスを明確に把握する。 提案手法は,従来の事前学習言語モデルと比較して,より一貫性があり,意味があり,適切な応答を提供する。
  論文  参考訳（メタデータ） (2021-06-04T00:09:38Z)
• Retrieval-Free Knowledge-Grounded Dialogue Response Generation with Adapters [52.725200145600624]
  軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。 実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2021-05-13T12:33:23Z)
• An Adversarially-Learned Turing Test for Dialog Generation Models [45.991035017908594]
  本研究では,人間による応答から機械生成応答を識別する頑健なモデルであるATTを学習するための対人訓練手法を提案する。 従来の摂動に基づく手法とは対照的に,我々の判別器は,制限のない多種多様な対向例を反復的に生成することによって訓練されている。 識別器は,DialoGPTやGPT-3などの強力な攻撃者に対して高い精度を示す。
  論文  参考訳（メタデータ） (2021-04-16T17:13:14Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Guided Dialog Policy Learning without Adversarial Learning in the Loop [103.20723982440788]
  対話政策とともに報酬関数を学習するために,多くの逆学習法が提案されている。 敵の訓練を2つの段階に分割することを提案する。 まず,識別器を補助対話生成器で訓練し,得られた報酬モデルを共通RL法に組み込んで対話ポリシー学習を指導する。
  論文  参考訳（メタデータ） (2020-04-07T11:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。