論文の概要: Empathy Level Alignment via Reinforcement Learning for Empathetic Response Generation

• arxiv url: http://arxiv.org/abs/2408.02976v2
• Date: Thu, 12 Dec 2024 12:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:30:08.998664
• Title: Empathy Level Alignment via Reinforcement Learning for Empathetic Response Generation
• Title（参考訳）: 共感反応生成のための強化学習による共感レベルアライメント
• Authors: Hui Ma, Bo Zhang, Bo Xu, Jian Wang, Hongfei Lin, Xiao Sun,
• Abstract要約: 強化学習(EmpRL)を用いた共感応答生成フレームワークを提案する。 本フレームワークは、効果的な共感報酬機能を開発し、強化学習により期待される報酬を最大化することにより共感応答を生成する。 自動評価と人的評価は、提案したEmpRLフレームワークが生成した応答の質を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 17.210469986755747
• License:
• Abstract: Empathetic response generation, aiming to understand the user's situation and feelings and respond empathically, is crucial in building human-like dialogue systems. Traditional approaches typically employ maximum likelihood estimation as the optimization objective during training, yet fail to align the empathy levels between generated and target responses. To this end, we propose an empathetic response generation framework using reinforcement learning (EmpRL). The framework develops an effective empathy reward function and generates empathetic responses by maximizing the expected reward through reinforcement learning. EmpRL utilizes the pre-trained T5 model as the generator and further fine-tunes it to initialize the policy. To align the empathy levels between generated and target responses within a given context, an empathy reward function containing three empathy communication mechanisms -- emotional reaction, interpretation, and exploration -- is constructed using pre-designed and pre-trained empathy identifiers. During reinforcement learning training, the proximal policy optimization algorithm is used to fine-tune the policy, enabling the generation of empathetic responses. Both automatic and human evaluations demonstrate that the proposed EmpRL framework significantly improves the quality of generated responses, enhances the similarity in empathy levels between generated and target responses, and produces empathetic responses covering both affective and cognitive aspects.
• Abstract（参考訳）: ユーザの状況や感情を理解し,共感的に反応することを目的とした共感的応答生成は,人間のような対話システムを構築する上で重要である。 従来のアプローチでは、トレーニング中に最適化の目的として最大推定値を用いるが、生成された応答とターゲット応答の共感レベルを調整できない。 そこで本研究では,強化学習(EmpRL)を用いた共感応答生成フレームワークを提案する。 本フレームワークは、効果的な共感報酬機能を開発し、強化学習により期待される報酬を最大化することにより共感応答を生成する。 EmpRLは、事前訓練されたT5モデルをジェネレータとして使用し、ポリシーの初期化をさらに微調整する。 所定の文脈内で生成された応答と対象応答の間に共感レベルを整合させるため、3つの共感コミュニケーション機構(感情反応、解釈、探索)を含む共感報酬関数は、事前に設計されたおよび訓練済みの共感識別子を用いて構築される。 強化学習トレーニング中、近位ポリシー最適化アルゴリズムはポリシーを微調整するために使用され、共感的応答の生成を可能にする。 自動評価と人的評価は,提案したEmpRLフレームワークが生成応答の質を著しく改善し,生成応答と対象応答の共感レベルの類似性を高め,感情的側面と認知的側面の両方をカバーする共感応答を生成することを示した。

関連論文リスト

• APTNESS: Incorporating Appraisal Theory and Emotion Support Strategies for Empathetic Response Generation [71.26755736617478]
  共感反応生成は、他人の感情を理解するように設計されている。 検索強化と感情支援戦略統合を組み合わせたフレームワークを開発する。 我々の枠組みは認知的・情緒的共感の両面からLLMの共感能力を高めることができる。
  論文  参考訳（メタデータ） (2024-07-23T02:23:37Z)
• EmPO: Emotion Grounding for Empathetic Response Generation through Preference Optimization [9.934277461349696]
  共感反応生成は会話エージェントの望ましい側面である。 感情接地に基づく理論駆動の嗜好データセットを構築する新しい手法を提案する。 本研究では,LLMを一般性能を維持しつつ,好みの最適化により共感応答生成に適応させることができることを示す。
  論文  参考訳（メタデータ） (2024-06-27T10:41:22Z)
• Improving Empathetic Dialogue Generation by Dynamically Infusing Commonsense Knowledge [39.536604198392375]
  共感的な会話では、個人は他人に対する共感を表現する。 これまでの研究は主に、話者の感情を利用して共感的な反応を生み出すことに焦点を当ててきた。 本稿では,コモンセンス知識選択のための適応モジュールを組み込んだ共感応答生成手法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:25:12Z)
• Use of a Taxonomy of Empathetic Response Intents to Control and Interpret Empathy in Neural Chatbots [4.264192013842096]
  オープンドメインの会話エージェントの領域における近年のトレンドは、感情的なプロンプトに共感的に会話できるようにすることである。 現在のアプローチでは、エンド・ツー・エンドのアプローチに従うか、同様の感情ラベルに応答を条件づけて共感的な反応を生成する。 我々は,次の応答の感情/意図を予測し,これらの予測された感情/意図に基づいて応答を生成するためのルールベースおよびニューラルアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-17T10:03:03Z)
• CASE: Aligning Coarse-to-Fine Cognition and Affection for Empathetic Response Generation [59.8935454665427]
  共感的対話モデルは、通常、感情的な側面のみを考慮するか、孤立して認知と愛情を扱う。 共感的対話生成のためのCASEモデルを提案する。
  論文  参考訳（メタデータ） (2022-08-18T14:28:38Z)
• EmpBot: A T5-based Empathetic Chatbot focusing on Sentiments [75.11753644302385]
  共感的会話エージェントは、議論されていることを理解しているだけでなく、会話相手の暗黙の感情も認識すべきである。 変圧器事前学習言語モデル(T5)に基づく手法を提案する。 本研究では,自動計測と人的評価の両方を用いて,情緒的ダイアログデータセットを用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-10-30T19:04:48Z)
• CEM: Commonsense-aware Empathetic Response Generation [31.956147246779423]
  本稿では,ユーザ状況に関する情報を引き出すために,コモンセンスを利用した共感応答生成手法を提案する。 我々は,共感的応答生成のためのベンチマークデータセットである共感的ダイアログに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-09-13T06:55:14Z)
• Exemplars-guided Empathetic Response Generation Controlled by the Elements of Human Communication [88.52901763928045]
  そこで本稿では, インターロケータへの共感を伝達する, 造形モデルによる細かな構造的特性の解明に先立って, 模範的手法を提案する。 これらの手法は, 自動評価指標と人的評価指標の両方の観点から, 共感的応答品質の大幅な改善をもたらすことを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-22T14:02:33Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Counterfactual Off-Policy Training for Neural Response Generation [94.76649147381232]
  本稿では,反実的推論による潜在的応答の探索を提案する。 対人学習の枠組みの下での対物反応の訓練は、潜在的応答空間の高逆領域を探索するのに役立つ。 DailyDialogデータセットに関する実証的研究は、我々のアプローチがHREDモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-04-29T22:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。