論文の概要: Can Machines Resonate with Humans? Evaluating the Emotional and Empathic Comprehension of LMs

• arxiv url: http://arxiv.org/abs/2406.11250v1
• Date: Mon, 17 Jun 2024 06:22:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:04:29.226802
• Title: Can Machines Resonate with Humans? Evaluating the Emotional and Empathic Comprehension of LMs
• Title（参考訳）: 機械は人間に共鳴できるか? : LMの感情的・共感的理解の評価
• Authors: Muhammad Arslan Manzoor, Yuxia Wang, Minghan Wang, Preslav Nakov,
• Abstract要約: 言語モデルにおける共感理解を改善するためのいくつかの戦略を提案する。 アノテータ間の低い合意は、トレーニングを妨げ、タスクの主観的な性質を強調します。 これを研究するために,我々はウルドゥー語でストーリーペアを注意深く収集し,アノテータ間の共感を解釈する主観性は文化的背景とは無関係であることがわかった。
• 参考スコア（独自算出の注目度）: 31.556095945149583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Empathy plays a pivotal role in fostering prosocial behavior, often triggered by the sharing of personal experiences through narratives. However, modeling empathy using NLP approaches remains challenging due to its deep interconnection with human interaction dynamics. Previous approaches, which involve fine-tuning language models (LMs) on human-annotated empathic datasets, have had limited success. In our pursuit of improving empathy understanding in LMs, we propose several strategies, including contrastive learning with masked LMs and supervised fine-tuning with Large Language Models (LLMs). While these methods show improvements over previous methods, the overall results remain unsatisfactory. To better understand this trend, we performed an analysis which reveals a low agreement among annotators. This lack of consensus hinders training and highlights the subjective nature of the task. We also explore the cultural impact on annotations. To study this, we meticulously collected story pairs in Urdu language and find that subjectivity in interpreting empathy among annotators appears to be independent of cultural background. The insights from our systematic exploration of LMs' understanding of empathy suggest that there is considerable room for exploration in both task formulation and modeling.
• Abstract（参考訳）: 共感は、しばしば物語を通して個人的な経験を共有することによって引き起こされる、社会的行動を促進する上で重要な役割を担っている。 しかしながら、NLPアプローチを用いた共感のモデル化は、人間の相互作用力学との深い相互関係のため、依然として困難である。 人間の注釈付き共感データセット上での微調整言語モデル(LM)を含むこれまでのアプローチでは、成功は限られていた。 LMにおける共感理解を改善するために,マスク付きLMを用いたコントラスト学習や,Large Language Models (LLMs)による微調整など,いくつかの戦略を提案する。 これらの手法は従来の方法よりも改善されているが、全体的な結果は満足できないままである。 この傾向をよりよく理解するために、アノテータ間の低一致を明らかにする分析を行った。 この合意の欠如は、トレーニングを妨げ、タスクの主観的な性質を強調します。 また、アノテーションに対する文化的影響についても検討する。 これを研究するために,我々はウルドゥー語でストーリーペアを注意深く収集し,アノテータ間の共感を解釈する主観性は文化的背景とは無関係であることがわかった。 LMの共感に対する理解の体系的な探索から得られた知見は、タスクの定式化とモデリングの両方において、十分な探索の余地があることを示唆している。

関連論文リスト

• PersLLM: A Personified Training Approach for Large Language Models [63.75008885222351]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Modeling Emotions and Ethics with Large Language Models [2.5200794639628032]
  まず、8つの基本的感情をモデル化し、対立するペアとして提示し、これらの感情を再解釈し表現するために協調的なLLMを用いる。 我々の焦点は、人間のフィードバックによる新しい自己教師付き学習アルゴリズムによって導かれる、LSMに潜伏する倫理的次元を埋め込むことにまで及んでいる。
  論文  参考訳（メタデータ） (2024-04-15T05:30:26Z)
• Multi-dimensional Evaluation of Empathetic Dialog Responses [4.580983642743026]
  話者の視点から表現された意図と聴取者の視点から認識された共感の両方を測定するための多次元共感評価フレームワークを提案する。 両次元は相互接続であり,共感は対話満足度と高い相関関係を持つことがわかった。
  論文  参考訳（メタデータ） (2024-02-18T00:32:33Z)
• Exploring Spatial Schema Intuitions in Large Language and Vision Models [8.944921398608063]
  大規模言語モデル(LLM)が言語ブロック構築に関する暗黙の人間の直感を効果的に捉えているかどうかを検討する。 驚くべきことに、モデル出力と人間の反応の相関が出現し、具体的体験と具体的なつながりのない適応性が明らかになる。 本研究は,大規模言語モデルによる言語,空間経験,計算間の相互作用の微妙な理解に寄与する。
  論文  参考訳（メタデータ） (2024-02-01T19:25:50Z)
• PALM: Predicting Actions through Language Models [74.10147822693791]
  本稿では,長期的行動予測の課題に取り組むアプローチであるPALMを紹介する。 本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。 実験の結果,PALMは長期的な行動予測作業において最先端の手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T02:17:27Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Building Emotional Support Chatbots in the Era of LLMs [64.06811786616471]
  我々は,Large Language Models (LLMs) の計算能力で人間の洞察を合成する革新的な方法論を導入する。 また,ChatGPTの文脈内学習の可能性を利用して,ExTESと呼ばれる感情支援対話データセットを生成する。 次に、LLaMAモデルに高度なチューニング手法を展開し、多様なトレーニング戦略の影響を検証し、最終的に感情的支援の相互作用に細心の注意を払ってLLMを出力する。
  論文  参考訳（メタデータ） (2023-08-17T10:49:18Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  我々は,Large Language Models (LLM) の共感能力を評価することを提案する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Context Limitations Make Neural Language Models More Human-Like [32.488137777336036]
  インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。 LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。 また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
  論文  参考訳（メタデータ） (2022-05-23T17:01:13Z)
• Affect-DML: Context-Aware One-Shot Recognition of Human Affect using Deep Metric Learning [29.262204241732565]
  既存の方法は、すべての関心の感情に注釈付きトレーニングの例として優先順位が与えられると仮定している。 我々は、文脈における感情のワンショット認識を概念化し、単一のサポートサンプルからより細かい粒子レベルの人間の影響状態を認識することを目的とした新しい問題である。 モデルの全変種は、ランダムなベースラインよりも明らかに優れており、セマンティックシーンのコンテキストを活用することで、学習された表現を一貫して改善している。
  論文  参考訳（メタデータ） (2021-11-30T10:35:20Z)
• Exemplars-guided Empathetic Response Generation Controlled by the Elements of Human Communication [88.52901763928045]
  そこで本稿では, インターロケータへの共感を伝達する, 造形モデルによる細かな構造的特性の解明に先立って, 模範的手法を提案する。 これらの手法は, 自動評価指標と人的評価指標の両方の観点から, 共感的応答品質の大幅な改善をもたらすことを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-22T14:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。