論文の概要: EthicMind: A Risk-Aware Framework for Ethical-Emotional Alignment in Multi-Turn Dialogue
- arxiv url: http://arxiv.org/abs/2604.09265v1
- Date: Fri, 10 Apr 2026 12:28:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.854229
- Title: EthicMind: A Risk-Aware Framework for Ethical-Emotional Alignment in Multi-Turn Dialogue
- Title(参考訳): EthicMind:多言語対話における感情アライメントのためのリスク認識フレームワーク
- Authors: Jiawen Deng, Wei Li, Wentao Zhang, Ziyun Jiao, Fuji Ren,
- Abstract要約: 我々は、対話における倫理的・感情的なアライメントを、明確なターンレベルの決定問題として定式化する。
提案するtextscEthicMindは,マルチターン対話において,この定式化を実装したリスク対応フレームワークである。
それぞれのターンで、textscEthicMindは倫理的リスク信号とユーザーの感情を共同で分析し、高いレベルのレスポンス戦略を計画し、文脈に敏感な応答を生成する。
- 参考スコア(独自算出の注目度): 18.007864750763602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intelligent dialogue systems are increasingly deployed in emotionally and ethically sensitive settings, where failures in either emotional attunement or ethical judgment can cause significant harm. Existing dialogue models typically address empathy and ethical safety in isolation, and often fail to adapt their behavior as ethical risk and user emotion evolve across multi-turn interactions. We formulate ethical-emotional alignment in dialogue as an explicit turn-level decision problem, and propose \textsc{EthicMind}, a risk-aware framework that implements this formulation in multi-turn dialogue at inference time. At each turn, \textsc{EthicMind} jointly analyzes ethical risk signals and user emotion, plans a high-level response strategy, and generates context-sensitive replies that balance ethical guidance with emotional engagement, without requiring additional model training. To evaluate alignment behavior under ethically complex interactions, we introduce a risk-stratified, multi-turn evaluation protocol with a context-aware user simulation procedure. Experimental results show that \textsc{EthicMind} achieves more consistent ethical guidance and emotional engagement than competitive baselines, particularly in high-risk and morally ambiguous scenarios.
- Abstract(参考訳): インテリジェントな対話システムは、感情的にも倫理的にも敏感な環境でますます展開され、感情的な緊張感や倫理的判断の失敗は重大な害をもたらす可能性がある。
既存の対話モデルは、通常、単独で共感と倫理的安全性に対処し、倫理的リスクとユーザ感情が多ターンインタラクションを越えて進化するにつれて、その行動に適応できないことが多い。
本稿では,対話における倫理的・感情的なアライメントを明示的なターンレベル決定問題として定式化し,この定式化を推論時に行うリスク対応フレームワークである「textsc{EthicMind}」を提案する。
それぞれのターンで、 \textsc{EthicMind} は倫理的リスク信号とユーザ感情を共同で分析し、高いレベルの応答戦略を計画し、追加のモデルトレーニングを必要とせず、倫理的ガイダンスと感情的エンゲージメントのバランスをとる、文脈に敏感な応答を生成する。
倫理的に複雑な相互作用下でのアライメント行動を評価するために,リスク階層化・マルチターン評価プロトコルとコンテキスト認識型ユーザシミュレーション手法を導入する。
実験結果から,特に高リスクで道徳的曖昧なシナリオにおいて, <textsc{EthicMind} は競争ベースラインよりも一貫した倫理的ガイダンスと感情的エンゲージメントを達成できることが示唆された。
関連論文リスト
- Breakdowns in Conversational AI: Interactional Failures in Emotionally and Ethically Sensitive Contexts [16.938835302814084]
本研究では,心理的なペルソナとマルチターン対話や,情緒的なペアリングを行うことのできるペルソナ条件付きユーザシミュレータを開発した。
感情的ミスアライメント、倫理的失敗、共感が責任を負うような多次元的トレードオフなど、いくつかの一般的な失敗パターンを特定します。
論文 参考訳(メタデータ) (2026-04-03T04:10:46Z) - EmoLLM: Appraisal-Grounded Cognitive-Emotional Co-Reasoning in Large Language Models [15.744777556347708]
EmoLLM は IQ/EQ 共同推論のための評価地上フレームワークである。
強化学習によるマルチターンロールプレイ環境において,EmoLLMを訓練する。
EmoLLMは、強いベースラインよりも感情状態の結果と応答品質を改善する。
論文 参考訳(メタデータ) (2026-03-17T14:17:50Z) - PsychēChat: An Empathic Framework Focused on Emotion Shift Tracking and Safety Risk Analysis in Psychological Counseling [12.348236978084671]
本稿では,心理的カウンセリングのための感情変化追跡と安全リスク分析を明示的に統合したサイコチャットを提案する。
具体的には、対話型ロールプレイングを用いてカウンセラー対話を合成し、感情管理モジュールとリスクコントロールモジュールの2つのモジュールを統合する。
Agent Modeは、感情管理、リスクコントロール、カウンセラー応答を協調的なマルチエージェントパイプラインに構成する。
論文 参考訳(メタデータ) (2026-01-18T13:06:13Z) - Towards Emotionally Intelligent and Responsible Reinforcement Learning [0.40719854602160227]
本稿では,感情的・文脈的理解と倫理的考察を統合したレスポンシブル強化学習フレームワークを提案する。
本稿では,短期的行動参加と長期的ユーザの幸福感のバランスをとる多目的報酬関数を提案する。
本稿では, 行動保健, 教育, デジタル治療など人間中心の領域におけるこのアプローチの意義について論じる。
論文 参考訳(メタデータ) (2025-11-13T18:09:37Z) - Empathetic Dialogue Generation via Sensitive Emotion Recognition and
Sensible Knowledge Selection [47.60224978460442]
情緒的対話生成のためのシリアル・アンド・感情知識相互作用(SEEK)法を提案する。
我々は,会話中の感情のダイナミックス(感情の流れ)に敏感な微粒なエンコーディング戦略を用いて,応答の感情依存特性を予測するとともに,知識と感情の相互作用をモデル化し,より敏感な応答を生成する新しい枠組みを設計する。
論文 参考訳(メタデータ) (2022-10-21T03:51:18Z) - Emotion-aware Chat Machine: Automatic Emotional Response Generation for
Human-like Emotional Interaction [55.47134146639492]
この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。
実世界のデータを用いた実験により,提案手法は,コンテンツコヒーレンスと感情の適切性の両方の観点から,最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-06-06T06:26:15Z) - DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
統合された自動評価フレームワークDynaEvalを提案する。
ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。
実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
論文 参考訳(メタデータ) (2021-06-02T12:23:18Z) - Target Guided Emotion Aware Chat Machine [58.8346820846765]
意味レベルと感情レベルにおける投稿に対する応答の整合性は、人間のような対話を提供する対話システムにとって不可欠である。
この記事では、投稿中のセマンティクスと感情を同時にエンコードできる、未定義のエンドツーエンドニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2020-11-15T01:55:37Z) - Knowledge Bridging for Empathetic Dialogue Generation [52.39868458154947]
外部知識の不足により、感情的な対話システムは暗黙の感情を知覚し、限られた対話履歴から感情的な対話を学ぶことが困難になる。
本研究では,情緒的対話生成における感情を明確に理解し,表現するために,常識的知識や情緒的語彙的知識などの外部知識を活用することを提案する。
論文 参考訳(メタデータ) (2020-09-21T09:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。