論文の概要: Measuring and Improving Semantic Diversity of Dialogue Generation

• arxiv url: http://arxiv.org/abs/2210.05725v1
• Date: Tue, 11 Oct 2022 18:36:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 13:53:03.199406
• Title: Measuring and Improving Semantic Diversity of Dialogue Generation
• Title（参考訳）: 対話生成のセマンティック多様性の測定と改善
• Authors: Seungju Han, Beomsu Kim, Buru Chang
• Abstract要約: 生成した応答のセマンティックな多様性を測定するための新しい自動評価指標を提案する。 提案手法は,既存の語彙レベルの多様性指標よりも,応答の多様性に関する人間の判断をよりよく捉えていることを示す。 また、生成した応答のセマンティックな多様性を改善するための、シンプルで効果的な学習方法を提案する。
• 参考スコア（独自算出の注目度）: 21.59385143783728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Response diversity has become an important criterion for evaluating the quality of open-domain dialogue generation models. However, current evaluation metrics for response diversity often fail to capture the semantic diversity of generated responses, as they mainly consider lexical aspects of the generated responses. In this paper, we introduce a new automatic evaluation metric to measure the semantic diversity of generated responses. Through human evaluation, we demonstrate that our proposed metric captures human judgments on response diversity better than existing lexical-level diversity metrics. Furthermore, motivated by analyzing an existing dialogue dataset, we propose a simple yet effective learning method that improves the semantic diversity of generated responses. Our learning method weights training samples based on the semantic distribution of the training set. We show that our learning method improves response diversity and coherency better than other baseline methods through automatic and human evaluation.
• Abstract（参考訳）: 応答の多様性はオープンドメイン対話生成モデルの品質を評価する上で重要な基準となっている。 しかしながら、応答の多様性に関する現在の評価指標は、生成された応答の語彙的側面を主に考慮しているため、生成された応答のセマンティックな多様性を捉えることができないことが多い。 本稿では,生成した応答の意味的多様性を測定するための新しい自動評価指標を提案する。 提案手法は, 既存の語彙レベルの多様性指標よりも, 応答の多様性に関する人間の判断を捉えていることを示す。 さらに,既存の対話データセットの分析を動機づけて,生成した応答の意味的多様性を向上させる簡易かつ効果的な学習手法を提案する。 学習方法はトレーニングセットの意味的分布に基づいてトレーニングサンプルを重み付けする。 提案手法は, 自動評価と人的評価により, 他のベースライン手法よりも応答の多様性と一貫性を向上させる。

関連論文リスト

• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Improving Diversity of Demographic Representation in Large Language Models via Collective-Critiques and Self-Voting [19.79214899011072]
  本稿では,生成的大言語モデルにおける表現の多様性を形式化する。 評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。 LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
  論文  参考訳（メタデータ） (2023-10-25T10:17:17Z)
• Diverse and Faithful Knowledge-Grounded Dialogue Generation via Sequential Posterior Inference [82.28542500317445]
  本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。 他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
  論文  参考訳（メタデータ） (2023-06-01T21:23:13Z)
• Generate, Evaluate, and Select: A Dialogue System with a Response Evaluator for Diversity-Aware Response Generation [9.247397520986999]
  現在の対話システムにおける多様性の欠如を克服することを目的としている。 本稿では,応答生成器が生成する複数の応答を評価するジェネレータ・評価器モデルを提案する。 我々は,提案システムとベースラインシステムの出力を比較するために人的評価を行う。
  論文  参考訳（メタデータ） (2022-06-10T08:22:22Z)
• Semantic Diversity in Dialogue with Natural Language Inference [19.74618235525502]
  本稿では,対話生成における多様性向上に2つの重要な貢献をする。 まず、自然言語推論(NLI)を用いて、会話に対するモデル応答の集合のセマンティック多様性を測定する新しいメトリクスを提案する。 第2に,多様性閾値生成と呼ばれる新世代の手法を用いて,サンプル化された応答集合のセマンティック多様性を反復的に改善する方法を実証する。
  論文  参考訳（メタデータ） (2022-05-03T13:56:32Z)
• Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition [62.30451764345482]
  この研究は、顔の感情認識のための自己学習の概念を通じて得られた教師なし表現を生成するための様々な戦略を記述する。 このアイデアは、オートエンコーダの初期化、アーキテクチャ、トレーニングデータを変化させることで、多様性を促進する補完的な表現を作ることである。 Jaffe と Cohn-Kanade のデータセットに対する残余のサブジェクトアウトプロトコルによる実験結果から,提案した多種多様な表現に基づく FER 手法が最先端のアプローチと好適に比較できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-26T22:48:15Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• Unsupervised Domain Adaptive Person Re-Identification via Human Learning Imitation [67.52229938775294]
  近年、研究者は、異なる人物の再識別データセット間のドメインギャップを減らすために、教師学生フレームワークを彼らの手法に活用することを提案している。 近年の教員中心の枠組みに基づく手法に着想を得て,異なる側面から人間の学習過程を模倣するためのさらなる探究を提案する。
  論文  参考訳（メタデータ） (2021-11-28T01:14:29Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Evaluating for Diversity in Question Generation over Text [5.369031521471668]
  我々は,BLEU や METEOR などの一般的な評価指標は,参照問題固有の多様性のため,この課題には適さないと論じている。 本稿では,この課題に対する変分エンコーダ・デコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-17T13:16:12Z)
• Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
  本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。 当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
  論文  参考訳（メタデータ） (2020-04-06T20:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。