論文の概要: Beyond No: Quantifying AI Over-Refusal and Emotional Attachment Boundaries

• arxiv url: http://arxiv.org/abs/2502.14975v1
• Date: Thu, 20 Feb 2025 19:09:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:17.093449
• Title: Beyond No: Quantifying AI Over-Refusal and Emotional Attachment Boundaries
• Title（参考訳）: AIの過剰な拒絶と感情のアタッチメント境界の定量化
• Authors: David Noever, Grant Rosario,
• Abstract要約: 大規模言語モデル(LLM)における感情境界処理を評価するためのオープンソースのベンチマークと評価フレームワークを提案する。 パターンマッチング応答解析により,3つのLLMを適切な感情境界を維持する能力で評価した。 本フレームワークは, 直接拒絶, 謝罪, 説明, 偏向, 認知, 境界設定, 感情認識の7つの主要なパターンにまたがる応答を定量化する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present an open-source benchmark and evaluation framework for assessing emotional boundary handling in Large Language Models (LLMs). Using a dataset of 1156 prompts across six languages, we evaluated three leading LLMs (GPT-4o, Claude-3.5 Sonnet, and Mistral-large) on their ability to maintain appropriate emotional boundaries through pattern-matched response analysis. Our framework quantifies responses across seven key patterns: direct refusal, apology, explanation, deflection, acknowledgment, boundary setting, and emotional awareness. Results demonstrate significant variation in boundary-handling approaches, with Claude-3.5 achieving the highest overall score (8.69/10) and producing longer, more nuanced responses (86.51 words on average). We identified a substantial performance gap between English (average score 25.62) and non-English interactions (< 0.22), with English responses showing markedly higher refusal rates (43.20% vs. < 1% for non-English). Pattern analysis revealed model-specific strategies, such as Mistral's preference for deflection (4.2%) and consistently low empathy scores across all models (< 0.06). Limitations include potential oversimplification through pattern matching, lack of contextual understanding in response analysis, and binary classification of complex emotional responses. Future work should explore more nuanced scoring methods, expand language coverage, and investigate cultural variations in emotional boundary expectations. Our benchmark and methodology provide a foundation for systematic evaluation of LLM emotional intelligence and boundary-setting capabilities.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における感情境界処理を評価するためのオープンソースのベンチマークと評価フレームワークを提案する。 6言語にまたがる1156のプロンプトのデータセットを用いて,パターンマッチング応答解析による適切な感情境界を維持する能力について,3つのLLM(GPT-4o, Claude-3.5 Sonnet, Mistral-large)を評価した。 本フレームワークは, 直接拒絶, 謝罪, 説明, 偏向, 認知, 境界設定, 感情認識の7つの主要なパターンにまたがる応答を定量化する。 クロード3.5は最高スコア(8.69/10)を達成し、より長く、よりニュアンスのある応答(平均86.51ワード)を生成する。 平均スコア25.62) と非英語の相互作用 (0.22) の間には, 高い拒絶率 (43.20% vs. < 1%) を示した。 パターン分析により、Mistralの偏向優先(4.2%)や、すべてのモデルに対する共感スコア(0.06)など、モデル固有の戦略が明らかになった。 制限には、パターンマッチングによる潜在的な過剰な単純化、応答分析における文脈的理解の欠如、複雑な感情応答のバイナリ分類が含まれる。 今後の研究は、より微妙なスコアリング方法、言語カバレッジの拡大、および感情境界予測の文化的バリエーションについて調べるべきである。 我々のベンチマークと方法論は、LLMの感情的知性と境界設定能力を体系的に評価するための基盤を提供する。

関連論文リスト

• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• Decoding the Flow: CauseMotion for Emotional Causality Analysis in Long-form Conversations [22.000288488609733]
  causeMotionは、Retrieval-Augmented Generation (RAG)とMultimodal fusionを基盤とした、長期にわたる感情因果推論フレームワークである。 RAGとスライディングウィンドウ機構を統合することで、コンテキストに関連のある対話セグメントを効果的に検索し、活用する。 CauseMotionと統合されたGLM-4は、オリジナルのモデルよりも因果精度が8.7%向上し、GPT-4oを1.2%上回る。 公開されているDiaASQデータセット上で、Co causedMotion-GLM-4は、精度、F1スコア、因果推論精度の最先端結果を達成する。
  論文  参考訳（メタデータ） (2025-01-01T09:10:32Z)
• Quantitative Assessment of Intersectional Empathetic Bias and Understanding [0.0]
  多くの文献が、構成のゆるい定義に基づいて現在の共感の運用について批判している。 本稿では,その心理的起源に近い共感を運用する共感評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-08T18:43:15Z)
• STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
  大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。 我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。 以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
  論文  参考訳（メタデータ） (2024-09-20T18:34:38Z)
• Recognizing Emotion Regulation Strategies from Human Behavior with Large Language Models [44.015651538470856]
  人間の感情は直接表現されないことが多いが、内部のプロセスや社会的表示規則に従って制御される。 ユーザ間のシナリオで異なる感情制御戦略を自動的に分類する方法は存在しない。 我々は最近導入されたtextscDeepコーパスを利用して、感情の恥の社会的表示をモデル化する。 微調整されたLlama2-7Bモデルは、利用した感情制御戦略を高精度に分類することができる。
  論文  参考訳（メタデータ） (2024-08-08T12:47:10Z)
• Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning [55.127202990679976]
  28,618粒の粗粒と4,487粒の細粒のアノテートサンプルを含むMERRデータセットを導入した。 このデータセットは、さまざまなシナリオから学習し、現実のアプリケーションに一般化することを可能にする。 本研究では,感情特異的エンコーダによる音声,視覚,テキスト入力をシームレスに統合するモデルであるEmotion-LLaMAを提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:01:22Z)
• Pragmatic Competence Evaluation of Large Language Models for the Korean Language [0.6757476692230009]
  本研究では,Large Language Models (LLMs) が,特に韓国語における実践的視点から,文脈依存表現をいかによく理解しているかを評価する。 自動評価にはMultiple-Choice Questions(MCQ)と、専門家によるOEQ(Open-Ended Questions)の両方を用いる。
  論文  参考訳（メタデータ） (2024-03-19T12:21:20Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。