論文の概要: LLMs vs. Chinese Anime Enthusiasts: A Comparative Study on Emotionally Supportive Role-Playing

• arxiv url: http://arxiv.org/abs/2508.06388v1
• Date: Fri, 08 Aug 2025 15:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-11 20:39:06.281406
• Title: LLMs vs. Chinese Anime Enthusiasts: A Comparative Study on Emotionally Supportive Role-Playing
• Title（参考訳）: LLMs vs. Chinese Anime Enthusiasts: A Comparison Study on Emotionally Supportive Role-Playing
• Authors: Lanlan Qiu, Xiao Pu, Yeqi Feng, Tianxing He,
• Abstract要約: 大きな言語モデル(LLM)は、ロールプレイングの会話において印象的な能力を示している。 本研究は,アニメのキャラクターをケーススタディとして取り上げる。 本稿では,最初の感情支援型ロールプレイングデータセットChatAnimeを紹介する。
• 参考スコア（独自算出の注目度）: 9.577770317771085
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities in role-playing conversations and providing emotional support as separate research directions. However, there remains a significant research gap in combining these capabilities to enable emotionally supportive interactions with virtual characters. To address this research gap, we focus on anime characters as a case study because of their well-defined personalities and large fan bases. This choice enables us to effectively evaluate how well LLMs can provide emotional support while maintaining specific character traits. We introduce ChatAnime, the first Emotionally Supportive Role-Playing (ESRP) dataset. We first thoughtfully select 20 top-tier characters from popular anime communities and design 60 emotion-centric real-world scenario questions. Then, we execute a nationwide selection process to identify 40 Chinese anime enthusiasts with profound knowledge of specific characters and extensive experience in role-playing. Next, we systematically collect two rounds of dialogue data from 10 LLMs and these 40 Chinese anime enthusiasts. To evaluate the ESRP performance of LLMs, we design a user experience-oriented evaluation system featuring 9 fine-grained metrics across three dimensions: basic dialogue, role-playing and emotional support, along with an overall metric for response diversity. In total, the dataset comprises 2,400 human-written and 24,000 LLM-generated answers, supported by over 132,000 human annotations. Experimental results show that top-performing LLMs surpass human fans in role-playing and emotional support, while humans still lead in response diversity. We hope this work can provide valuable resources and insights for future research on optimizing LLMs in ESRP. Our datasets are available at https://github.com/LanlanQiu/ChatAnime.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ロールプレイングの会話において印象的な能力を示し、別々の研究方向として感情的な支援を提供している。 しかし、これらの能力を組み合わせることで、仮想キャラクタとの感情的に支援的な相互作用を可能にするには、大きな研究ギャップが残っている。 この研究のギャップに対処するため,我々は,アニメキャラクターを事例研究として取り上げる。 この選択により、特定の性格特性を維持しつつ、LLMが感情的支援をいかに効果的に行うかを評価することができる。 本稿では,最初の感情支援型ロールプレイング(ESRP)データセットであるChatAnimeを紹介する。 まず、人気アニメコミュニティから20の上位キャラクターを選び、60の感情中心の現実シナリオをデザインしました。 そこで我々は、特定のキャラクターの深い知識とロールプレイングの経験を持つ40人の中国アニメ愛好家を特定するために、全国的な選考プロセスを実行する。 次に,10個のLDMとこれら40個の中国のアニメ愛好家から2ラウンドの対話データを体系的に収集する。 LLMのESRP性能を評価するために,基本的な対話,ロールプレイング,情緒的支援の3次元にわたる9つの詳細なメトリクスと,応答の多様性に関する総合的な指標を特徴とするユーザエクスペリエンス指向評価システムを設計した。 このデータセットは、合計で2,400人の人間が書いた回答と24,000人のLLMが生成する回答で構成され、132,000人以上の人間のアノテーションによって支えられている。 実験の結果,LLMはロールプレイングと感情サポートにおいてヒトのファンを上回り,ヒトは依然として反応の多様性をリードしていることがわかった。 ESRP における LLM の最適化に関する今後の研究に貴重なリソースと洞察を提供することができることを願っている。 データセットはhttps://github.com/LanlanQiu/ChatAnime.comで公開しています。

関連論文リスト

• Capturing Minds, Not Just Words: Enhancing Role-Playing Language Models with Personality-Indicative Data [58.92110996840019]
  本稿では、パーソナリティを指標としたデータを用いて、ロールプレイング言語モデル(RPLM)を強化することを提案する。 具体的には、心理学的尺度からの質問を活用し、高度なRPAを蒸留し、文字の心を把握した対話を生成する。 実験により,本データセットを用いてトレーニングしたRPLMは,一般人格関連評価と人格関連評価の両面において,高度なロールプレイング能力を示した。
  論文  参考訳（メタデータ） (2024-06-27T06:24:00Z)
• Character is Destiny: Can Role-Playing Language Agents Make Persona-Driven Decisions? [59.0123596591807]
  我々は、ペルソナ駆動意思決定におけるLarge Language Models(LLM)の能力をベンチマークする。 高品質な小説において, LLM が先行する物語のキャラクターの判断を予測できるかどうかを検討する。 その結果、現状のLLMは、このタスクに有望な能力を示すが、改善の余地は残されている。
  論文  参考訳（メタデータ） (2024-04-18T12:40:59Z)
• Long-Horizon Dialogue Understanding for Role Identification in the Game of Avalon with Large Language Models [6.176709034158014]
  Avalon: The Resistanceは、プレイヤーがチームの目的を達成するためにお互いの隠れたアイデンティティを判断しなければならない社会的推論ゲームである。 オンラインテストベッドと20個の慎重に収集・ラベル付けされたゲームを含むデータセットを導入する。 そこで本研究では,LLMが6人のプレイヤー間での知覚的長期会話を利用して,各プレイヤーの目標とモチベーションを決定する能力について論じる。
  論文  参考訳（メタデータ） (2023-11-09T20:04:08Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。