論文の概要: Can Machines Resonate with Humans? Evaluating the Emotional and Empathic Comprehension of LMs

• arxiv url: http://arxiv.org/abs/2406.11250v1
• Date: Mon, 17 Jun 2024 06:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:04:29.226802
• Title: Can Machines Resonate with Humans? Evaluating the Emotional and Empathic Comprehension of LMs
• Title（参考訳）: 機械は人間に共鳴できるか? : LMの感情的・共感的理解の評価
• Authors: Muhammad Arslan Manzoor, Yuxia Wang, Minghan Wang, Preslav Nakov,
• Abstract要約: 言語モデルにおける共感理解を改善するためのいくつかの戦略を提案する。 アノテータ間の低い合意は、トレーニングを妨げ、タスクの主観的な性質を強調します。 これを研究するために,我々はウルドゥー語でストーリーペアを注意深く収集し,アノテータ間の共感を解釈する主観性は文化的背景とは無関係であることがわかった。
• 参考スコア（独自算出の注目度）: 31.556095945149583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empathy plays a pivotal role in fostering prosocial behavior, often triggered by the sharing of personal experiences through narratives. However, modeling empathy using NLP approaches remains challenging due to its deep interconnection with human interaction dynamics. Previous approaches, which involve fine-tuning language models (LMs) on human-annotated empathic datasets, have had limited success. In our pursuit of improving empathy understanding in LMs, we propose several strategies, including contrastive learning with masked LMs and supervised fine-tuning with Large Language Models (LLMs). While these methods show improvements over previous methods, the overall results remain unsatisfactory. To better understand this trend, we performed an analysis which reveals a low agreement among annotators. This lack of consensus hinders training and highlights the subjective nature of the task. We also explore the cultural impact on annotations. To study this, we meticulously collected story pairs in Urdu language and find that subjectivity in interpreting empathy among annotators appears to be independent of cultural background. The insights from our systematic exploration of LMs' understanding of empathy suggest that there is considerable room for exploration in both task formulation and modeling.
• Abstract（参考訳）: 共感は、しばしば物語を通して個人的な経験を共有することによって引き起こされる、社会的行動を促進する上で重要な役割を担っている。 しかしながら、NLPアプローチを用いた共感のモデル化は、人間の相互作用力学との深い相互関係のため、依然として困難である。 人間の注釈付き共感データセット上での微調整言語モデル(LM)を含むこれまでのアプローチでは、成功は限られていた。 LMにおける共感理解を改善するために,マスク付きLMを用いたコントラスト学習や,Large Language Models (LLMs)による微調整など,いくつかの戦略を提案する。 これらの手法は従来の方法よりも改善されているが、全体的な結果は満足できないままである。 この傾向をよりよく理解するために、アノテータ間の低一致を明らかにする分析を行った。 この合意の欠如は、トレーニングを妨げ、タスクの主観的な性質を強調します。 また、アノテーションに対する文化的影響についても検討する。 これを研究するために,我々はウルドゥー語でストーリーペアを注意深く収集し,アノテータ間の共感を解釈する主観性は文化的背景とは無関係であることがわかった。 LMの共感に対する理解の体系的な探索から得られた知見は、タスクの定式化とモデリングの両方において、十分な探索の余地があることを示唆している。

関連論文リスト

• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• Cause-Aware Empathetic Response Generation via Chain-of-Thought Fine-Tuning [12.766893968788263]
  共感反応生成は、対話の文脈を理解し、表現された感情に反応する能力を持つエージェントを与える。 先行研究は、主に話者の感情的ラベルを活用することに重点を置いているが、感情の重要性が原因の推論を無視している。 そこで我々は,感情と原因をうまく設計したChain-of-Thoughtプロンプトを通じて統合した原因認識型共感生成手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T13:11:03Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
  インタラクションの文脈的特徴が依存に与える影響について検討する。 文脈特性が人間の信頼行動に大きく影響していることが判明した。 これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:00:05Z)
• Modeling Emotions and Ethics with Large Language Models [2.5200794639628032]
  まず、8つの基本的感情をモデル化し、対立するペアとして提示し、これらの感情を再解釈し表現するために協調的なLLMを用いる。 我々の焦点は、人間のフィードバックによる新しい自己教師付き学習アルゴリズムによって導かれる、LSMに潜伏する倫理的次元を埋め込むことにまで及んでいる。
  論文  参考訳（メタデータ） (2024-04-15T05:30:26Z)
• Multi-dimensional Evaluation of Empathetic Dialog Responses [4.580983642743026]
  話者の視点から表現された意図と聴取者の視点から認識された共感の両方を測定するための多次元共感評価フレームワークを提案する。 両次元が相互接続されているのに対して,共感は対話満足度と高い相関関係にあることがわかった。
  論文  参考訳（メタデータ） (2024-02-18T00:32:33Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Building Emotional Support Chatbots in the Era of LLMs [64.06811786616471]
  我々は,Large Language Models (LLMs) の計算能力で人間の洞察を合成する革新的な方法論を導入する。 また,ChatGPTの文脈内学習の可能性を利用して,ExTESと呼ばれる感情支援対話データセットを生成する。 次に、LLaMAモデルに高度なチューニング手法を展開し、多様なトレーニング戦略の影響を検証し、最終的に感情的支援の相互作用に細心の注意を払ってLLMを出力する。
  論文  参考訳（メタデータ） (2023-08-17T10:49:18Z)
• Context Limitations Make Neural Language Models More Human-Like [32.488137777336036]
  インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。 LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。 また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
  論文  参考訳（メタデータ） (2022-05-23T17:01:13Z)
• Affect-DML: Context-Aware One-Shot Recognition of Human Affect using Deep Metric Learning [29.262204241732565]
  既存の方法は、すべての関心の感情に注釈付きトレーニングの例として優先順位が与えられると仮定している。 我々は、文脈における感情のワンショット認識を概念化し、単一のサポートサンプルからより細かい粒子レベルの人間の影響状態を認識することを目的とした新しい問題である。 モデルの全変種は、ランダムなベースラインよりも明らかに優れており、セマンティックシーンのコンテキストを活用することで、学習された表現を一貫して改善している。
  論文  参考訳（メタデータ） (2021-11-30T10:35:20Z)
• Exemplars-guided Empathetic Response Generation Controlled by the Elements of Human Communication [88.52901763928045]
  そこで本稿では, インターロケータへの共感を伝達する, 造形モデルによる細かな構造的特性の解明に先立って, 模範的手法を提案する。 これらの手法は, 自動評価指標と人的評価指標の両方の観点から, 共感的応答品質の大幅な改善をもたらすことを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-22T14:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。