論文の概要: Empathy Level Alignment via Reinforcement Learning for Empathetic Response Generation

• arxiv url: http://arxiv.org/abs/2408.02976v1
• Date: Tue, 6 Aug 2024 06:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:49:26.967603
• Title: Empathy Level Alignment via Reinforcement Learning for Empathetic Response Generation
• Title（参考訳）: 共感反応生成のための強化学習による共感レベルアライメント
• Authors: Hui Ma, Bo Zhang, Bo Xu, Jian Wang, Hongfei Lin, Xiao Sun,
• Abstract要約: 共感応答生成は人間のような対話システムの構築に不可欠である。 強化学習(EmpRL)フレームワークを用いた共感応答生成を提案する。
• 参考スコア（独自算出の注目度）: 17.210469986755747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empathetic response generation, aiming at understanding the user's situation and feelings and respond empathically, is crucial in building human-like dialogue systems. Previous methods mainly focus on using maximum likelihood estimation as the optimization objective for training response generation models, without taking into account the empathy level alignment between generated responses and target responses. To this end, we propose an empathetic response generation using reinforcement learning (EmpRL) framework. The framework designs an effective empathy reward function and generates empathetic responses by maximizing the expected reward through reinforcement learning. Given the powerful text generation capability of pre-trained language models, EmpRL utilizes the pre-trained T5 model as the generator and conducts further training to initialize the policy. To align the empathy level between generated responses and target responses in the context, an empathy reward function containing three empathy communication mechanisms, i.e., emotional reaction, interpretation, and exploration, is constructed using pre-designed and pre-trained empathy identifiers. Finally, the proximal policy optimization algorithm is used to further train the policy to produce empathetic responses. Both automatic and manual evaluations demonstrate that the proposed EmpRL framework can improve the quality of generated responses, enhance the empathy level similarity between generated and target responses, and produce empathetic responses covering both affective and cognitive aspects.
• Abstract（参考訳）: ユーザの状況や感情を理解し,共感的に反応することを目的とした共感的応答生成は,人間のような対話システムを構築する上で重要である。 従来の手法は主に、生成した応答とターゲット応答の共感レベルアライメントを考慮せずに、応答生成モデルの学習目標として、最大推定を最大限に活用することに焦点を当てていた。 そこで本研究では,強化学習(EmpRL)フレームワークを用いた共感応答生成を提案する。 このフレームワークは、効果的な共感報酬関数を設計し、強化学習により期待される報酬を最大化することにより共感応答を生成する。 事前訓練された言語モデルの強力なテキスト生成能力を考えると、EmpRLは事前訓練されたT5モデルをジェネレータとして利用し、ポリシーの初期化のためにさらなる訓練を行う。 3つの共感コミュニケーション機構、すなわち、感情反応、解釈、探索を含む共感報酬関数を、予め設計された、訓練済みの共感識別子を用いて構築する。 最後に、近似ポリシー最適化アルゴリズムを用いて、共感応答を生成するためのポリシーをさらに訓練する。 自動評価と手動評価の両方により,提案したEmpRLフレームワークは,生成した応答の質を向上し,生成した応答と対象応答の共感レベル類似性を向上し,情緒的応答と認知的応答の両方をカバーできることが示された。

関連論文リスト

• APTNESS: Incorporating Appraisal Theory and Emotion Support Strategies for Empathetic Response Generation [71.26755736617478]
  共感反応生成は、他人の感情を理解するように設計されている。 検索強化と感情支援戦略統合を組み合わせたフレームワークを開発する。 我々の枠組みは認知的・情緒的共感の両面からLLMの共感能力を高めることができる。
  論文  参考訳（メタデータ） (2024-07-23T02:23:37Z)
• EmPO: Emotion Grounding for Empathetic Response Generation through Preference Optimization [9.934277461349696]
  共感反応生成は会話エージェントの望ましい側面である。 感情接地に基づく理論駆動の嗜好データセットを構築する新しい手法を提案する。 本研究では,LLMを一般性能を維持しつつ,好みの最適化により共感応答生成に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-27T10:41:22Z)
• Improving Empathetic Dialogue Generation by Dynamically Infusing Commonsense Knowledge [39.536604198392375]
  共感的な会話では、個人は他人に対する共感を表現する。 これまでの研究は主に、話者の感情を利用して共感的な反応を生み出すことに焦点を当ててきた。 本稿では,コモンセンス知識選択のための適応モジュールを組み込んだ共感応答生成手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:25:12Z)
• Use of a Taxonomy of Empathetic Response Intents to Control and Interpret Empathy in Neural Chatbots [4.264192013842096]
  オープンドメインの会話エージェントの領域における近年のトレンドは、感情的なプロンプトに共感的に会話できるようにすることである。 現在のアプローチでは、エンド・ツー・エンドのアプローチに従うか、同様の感情ラベルに応答を条件づけて共感的な反応を生成する。 我々は,次の応答の感情/意図を予測し,これらの予測された感情/意図に基づいて応答を生成するためのルールベースおよびニューラルアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-17T10:03:03Z)
• CASE: Aligning Coarse-to-Fine Cognition and Affection for Empathetic Response Generation [59.8935454665427]
  共感的対話モデルは、通常、感情的な側面のみを考慮するか、孤立して認知と愛情を扱う。 共感的対話生成のためのCASEモデルを提案する。
  論文  参考訳（メタデータ） (2022-08-18T14:28:38Z)
• EmpBot: A T5-based Empathetic Chatbot focusing on Sentiments [75.11753644302385]
  共感的会話エージェントは、議論されていることを理解しているだけでなく、会話相手の暗黙の感情も認識すべきである。 変圧器事前学習言語モデル(T5)に基づく手法を提案する。 本研究では,自動計測と人的評価の両方を用いて,情緒的ダイアログデータセットを用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-10-30T19:04:48Z)
• CEM: Commonsense-aware Empathetic Response Generation [31.956147246779423]
  本稿では,ユーザ状況に関する情報を引き出すために,コモンセンスを利用した共感応答生成手法を提案する。 我々は,共感的応答生成のためのベンチマークデータセットである共感的ダイアログに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-09-13T06:55:14Z)
• Exemplars-guided Empathetic Response Generation Controlled by the Elements of Human Communication [88.52901763928045]
  そこで本稿では, インターロケータへの共感を伝達する, 造形モデルによる細かな構造的特性の解明に先立って, 模範的手法を提案する。 これらの手法は, 自動評価指標と人的評価指標の両方の観点から, 共感的応答品質の大幅な改善をもたらすことを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-22T14:02:33Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Counterfactual Off-Policy Training for Neural Response Generation [94.76649147381232]
  本稿では,反実的推論による潜在的応答の探索を提案する。 対人学習の枠組みの下での対物反応の訓練は、潜在的応答空間の高逆領域を探索するのに役立つ。 DailyDialogデータセットに関する実証的研究は、我々のアプローチがHREDモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T22:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。