論文の概要: Emotion-Aware Embedding Fusion in LLMs (Flan-T5, LLAMA 2, DeepSeek-R1, and ChatGPT 4) for Intelligent Response Generation

• arxiv url: http://arxiv.org/abs/2410.01306v2
• Date: Tue, 11 Mar 2025 10:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:17.996462
• Title: Emotion-Aware Embedding Fusion in LLMs (Flan-T5, LLAMA 2, DeepSeek-R1, and ChatGPT 4) for Intelligent Response Generation
• Title（参考訳）: インテリジェント応答生成のためのLDM(Flan-T5, LLAMA, DeepSeek-R1, ChatGPT 4)における感情認識型埋め込み核融合
• Authors: Abdur Rasool, Muhammad Irfan Shahzad, Hafsa Aslam, Vincent Chan, Muhammad Ali Arshad,
• Abstract要約: 本研究は,精神医学的応用における大規模言語モデル(LLM)の感情的・文脈的理解を高めることの課題に対処する。 本稿では,階層的融合と注意機構を統合した新しいフレームワークであるEmotion-Aware Embedding Fusionを紹介する。 このシステムは、既存のメンタルヘルスプラットフォームに統合され、検索されたセラピーセッションデータに基づいてパーソナライズされた応答を生成することができる。
• 参考スコア（独自算出の注目度）: 0.5454121013433086
• License:
• Abstract: Empathetic and coherent responses are critical in auto-mated chatbot-facilitated psychotherapy. This study addresses the challenge of enhancing the emotional and contextual understanding of large language models (LLMs) in psychiatric applications. We introduce Emotion-Aware Embedding Fusion, a novel framework integrating hierarchical fusion and attention mechanisms to prioritize semantic and emotional features in therapy transcripts. Our approach combines multiple emotion lexicons, including NRC Emotion Lexicon, VADER, WordNet, and SentiWordNet, with state-of-the-art LLMs such as Flan-T5, LLAMA 2, DeepSeek-R1, and ChatGPT 4. Therapy session transcripts, comprising over 2,000 samples are segmented into hierarchical levels (word, sentence, and session) using neural networks, while hierarchical fusion combines these features with pooling techniques to refine emotional representations. Atten-tion mechanisms, including multi-head self-attention and cross-attention, further prioritize emotional and contextual features, enabling temporal modeling of emotion-al shifts across sessions. The processed embeddings, computed using BERT, GPT-3, and RoBERTa are stored in the Facebook AI similarity search vector database, which enables efficient similarity search and clustering across dense vector spaces. Upon user queries, relevant segments are retrieved and provided as context to LLMs, enhancing their ability to generate empathetic and con-textually relevant responses. The proposed framework is evaluated across multiple practical use cases to demonstrate real-world applicability, including AI-driven therapy chatbots. The system can be integrated into existing mental health platforms to generate personalized responses based on retrieved therapy session data.
• Abstract（参考訳）: 共感的およびコヒーレントな反応は、自傷性チャットボットファシリケート精神療法において重要である。 本研究は,精神医学的応用における大規模言語モデル(LLM)の感情的・文脈的理解を高めることの課題に対処する。 本稿では、階層的融合と注意機構を統合した新しいフレームワークであるEmotion-Aware Embedding Fusionを紹介し、治療文書の意味的特徴と感情的特徴を優先順位付けする。 このアプローチでは,NRC Emotion Lexicon, VADER, WordNet, SentiWordNetなどの複数の感情レキシコンと,Flan-T5, LLAMA 2, DeepSeek-R1, ChatGPT 4といった最先端のLLMを組み合わせる。 2,000以上のサンプルからなる治療セッションの書き起こしは、ニューラルネットワークを用いて階層的なレベル(単語、文、セッション)に分割され、階層的な融合はこれらの特徴とプール技術を組み合わせて感情表現を洗練させる。 マルチヘッド・セルフアテンションやクロスアテンションを含むアテンションメカニズムは、さらに感情的および文脈的特徴を優先し、セッション間の感情変化の時間的モデリングを可能にする。 BERT、GPT-3、RoBERTaを用いて計算された処理された埋め込みは、Facebook AI類似性検索ベクトルデータベースに格納される。 ユーザクエリでは、関連するセグメントを検索してLLMのコンテキストとして提供し、共感的かつコンテクスト的に関連する応答を生成する能力を向上する。 提案フレームワークは,AI駆動型セラピーチャットボットなど,現実の応用性を示すために,複数の実践事例で評価されている。 このシステムは、既存のメンタルヘルスプラットフォームに統合され、検索されたセラピーセッションデータに基づいてパーソナライズされた応答を生成することができる。

関連論文リスト

• Unlocking LLMs: Addressing Scarce Data and Bias Challenges in Mental Health [8.703482957316107]
  大規模言語モデル(LLM)は、医療分析において有望な能力を示しているが、幻覚、オウム、偏見の顕在化といったいくつかの課題に直面している。 IC-AnnoMI(IC-AnnoMI)は、AnnoMI上に構築された、専門家によるモチベーションインタビュー(MI)データセットである。 IC-AnnoMIは、治療スタイル(共感、反射)、文脈的関連性、偽の意味変化を考慮に入れ、キューや調整された情報を通じて正確に設計されたターゲットプロンプトを使用する。
  論文  参考訳（メタデータ） (2024-12-17T15:01:07Z)
• Script-Strategy Aligned Generation: Aligning LLMs with Expert-Crafted Dialogue Scripts and Therapeutic Strategies for Psychotherapy [17.07905574770501]
  現在のシステムは厳格で規則に基づく設計に依存しており、治療的会話を導くために専門家が作成したスクリプトに大きく依存している。 大規模言語モデル(LLM)の最近の進歩は、より柔軟な相互作用の可能性を提供するが、制御性と透明性は欠如している。 完全にスクリプト化されたコンテンツへの依存を減らすフレキシブルなアライメントアプローチである Script-Strategy Aligned Generation (SSAG)' を提案する。
  論文  参考訳（メタデータ） (2024-11-11T05:14:14Z)
• Towards Empathetic Conversational Recommender Systems [77.53167131692]
  本稿では,共感型会話レコメンデータ(ECR)フレームワークを提案する。 ECRには、感情対応アイテムレコメンデーションと感情対応応答生成という、2つの主要なモジュールが含まれている。 ReDialデータセットの実験は、推奨精度を高め、ユーザの満足度を向上させる上で、我々のフレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2024-08-30T15:43:07Z)
• Are Large Language Models Possible to Conduct Cognitive Behavioral Therapy? [13.0263170692984]
  大規模言語モデル(LLM)が検証され、心理的補助療法の新たな可能性を提供する。 精神保健の専門家は、LSMを治療に使用することについて多くの懸念を抱いている。 自然言語処理性能に優れた4つのLLM変種を評価した。
  論文  参考訳（メタデータ） (2024-07-25T03:01:47Z)
• APTNESS: Incorporating Appraisal Theory and Emotion Support Strategies for Empathetic Response Generation [71.26755736617478]
  共感反応生成は、他人の感情を理解するように設計されている。 検索強化と感情支援戦略統合を組み合わせたフレームワークを開発する。 我々の枠組みは認知的・情緒的共感の両面からLLMの共感能力を高めることができる。
  論文  参考訳（メタデータ） (2024-07-23T02:23:37Z)
• Chain of Empathy: Enhancing Empathetic Response of Large Language Models Based on Psychotherapy Models [2.679689033125693]
  本稿では,心理療法の知見を活かして,大規模言語モデル(LLM)を誘導し,人間の感情状態を理解する新しい方法である「共感の連鎖(CoE)」を提案する。 この方法は認知行動療法(CBT)、弁証的行動療法(DBT)、人中心療法(PCT)、現実療法(RT)など様々な心理療法のアプローチにインスパイアされている。
  論文  参考訳（メタデータ） (2023-11-02T02:21:39Z)
• Harnessing Large Language Models' Empathetic Response Generation Capabilities for Online Mental Health Counselling Support [1.9336815376402723]
  大規模言語モデル(LLM)は、様々な情報検索や推論タスクで顕著なパフォーマンスを示している。 本研究は,メンタルヘルスカウンセリング環境下での会話において,共感反応を誘発するLLMの能力について検討した。 我々は、ジェネレーティブ・プレトレーニング(GPT)のバージョン3.5とバージョン4、Vicuna FastChat-T5、Pathways Language Model(PaLM)バージョン2、Falcon-7B-Instructの5つのLCMを選択した。
  論文  参考訳（メタデータ） (2023-10-12T03:33:06Z)
• Chat2Brain: A Method for Mapping Open-Ended Semantic Queries to Brain Activation Maps [59.648646222905235]
  そこで本研究では,テキスト2画像モデルであるText2BrainにLLMを組み合わせ,セマンティッククエリを脳活性化マップにマッピングするChat2Brainを提案する。 テキストクエリのより複雑なタスクに対して、Chat2Brainが可塑性なニューラルアクティベーションパターンを合成できることを実証した。
  論文  参考訳（メタデータ） (2023-09-10T13:06:45Z)
• Building Emotional Support Chatbots in the Era of LLMs [64.06811786616471]
  我々は,Large Language Models (LLMs) の計算能力で人間の洞察を合成する革新的な方法論を導入する。 また,ChatGPTの文脈内学習の可能性を利用して,ExTESと呼ばれる感情支援対話データセットを生成する。 次に、LLaMAモデルに高度なチューニング手法を展開し、多様なトレーニング戦略の影響を検証し、最終的に感情的支援の相互作用に細心の注意を払ってLLMを出力する。
  論文  参考訳（メタデータ） (2023-08-17T10:49:18Z)
• A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition [72.36055502078193]
  本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。 データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。 提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
  論文  参考訳（メタデータ） (2023-03-14T16:08:45Z)
• MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild [56.61912265155151]
  大規模複合感情データベースMAFWを提案する。 各クリップには、複雑な感情カテゴリーと、クリップ内の被験者の感情行動を記述する2つの文が注釈付けされている。 複合感情のアノテーションでは、それぞれのクリップは、怒り、嫌悪感、恐怖、幸福、中立、悲しみ、驚き、軽蔑、不安、無力感、失望など、広く使われている11の感情のうちの1つ以上に分類される。
  論文  参考訳（メタデータ） (2022-08-01T13:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。