論文の概要: CompanionHarm: A Multi-Turn Benchmark for Detecting Harms in Real-World AI Companion Conversations
- arxiv url: http://arxiv.org/abs/2608.25377v1
- Date: Wed, 26 Aug 2026 04:59:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.596575
- Title: CompanionHarm: A Multi-Turn Benchmark for Detecting Harms in Real-World AI Companion Conversations
- Title（参考訳）: CompanionHarm: 実世界のAIコンパニオン会話におけるハーム検出のためのマルチTurnベンチマーク
- Abstract要約: 実世界2,111のマルチターン会話からなるベンチマークデータセットであるCompanionHarmを紹介する。
7,016のAI発話は、13の有害な行動カテゴリーの3つのアノテータによって独立にアノテートされた。
評価の結果,マルチターン会話コンテキストによる有害検出は,孤立発話に基づく検出よりも優れていた。
- 参考スコア（独自算出の注目度）: 22.242506384985685
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As AI companions become increasingly embedded in everyday life, there is an urgent need to detect harms that emerge in social and emotional human-AI interactions. Yet research in this area is constrained by the lack of real-world, multi-turn conversational datasets for operationalizing and evaluating harms that are relational and contextual. In this work, we introduce CompanionHarm, a publicly available benchmark dataset comprising 2,111 real-world, multi-turn conversations (14,051 utterances) between users and the AI companion Replika. 7,016 AI utterances were annotated independently by three annotators across 13 harmful behavior categories grounded in a taxonomy of AI companion harms, and the dataset includes both aggregated labels and annotator-level labels to support model evaluation and systematic disagreement analysis. Evaluations of seven large language models (LLMs) show that harm detection using multi-turn conversational context outperforms detection based on isolated utterances, although current LLMs still struggle to consistently integrate contextual cues, calibrate harm severity, and interpret relational boundaries. We also find substantial annotator disagreement for context-dependent harmful behaviors, with disagreement varying according to annotators' political affiliation, conversation length, and the utterance's position. Together, CompanionHarm provides a foundation for detecting socio-emotional harms in multi-turn human-AI conversations and for rigorously examining how such harms are interpreted by both humans and LLMs. Our dataset is available at https://github.com/HanMeng2004/CompanionHarm.
- Abstract（参考訳）: AIコンパニオンが日々の生活に浸透するにつれて、社会的および感情的な人間とAIの相互作用に現れる害を検出する必要がある。
しかし、この分野の研究は、実世界のマルチターン会話データセットが欠如していることに制約されている。
本研究では,ユーザとAIコンパニオンであるReplikaとの間の2,111のリアルタイム・マルチターン会話(14,051発)からなる,公開可能なベンチマークデータセットであるCompanionHarmを紹介する。
7,016のAI発話は、3つのアノテータによって独立してアノテータによってアノテータされ、そのデータセットには、モデル評価と体系的な不一致分析をサポートするために、集約ラベルとアノテータレベルラベルの両方が含まれている。
7つの大きな言語モデル (LLMs) の評価は、複数ターンの会話コンテキストによる害検出は、孤立した発話に基づく検出よりも優れていることを示しているが、現在のLLMは、文脈的手がかりを一貫して統合し、有害度を校正し、関係境界を解釈するのに依然として苦労している。
また,文脈依存的有害行動に対するアノテータの不一致は,アノテータの政治的アフィリエイト,会話の長さ,発話姿勢によって大きく異なる。
コンパニオンハームは、マルチターンの人間とAIの会話における社会的な情緒的害を検知し、そのような害が人間とLLMの両方によってどのように解釈されるかを厳格に検証する基盤を提供する。
データセットはhttps://github.com/HanMeng2004/CompanionHarm.comから入手可能です。
関連論文リスト
- 'Your AI Text is not Mine': Redefining and Evaluating AI-generated Text Detection under Realistic Assumptions [50.1119556361129]
我々は,AI生成テキストのさまざまな概念とその特徴を体系的に定義する。
AITDNAは人間と機械が共同で構築したテキストの新しいベンチマークである。
我々は、様々な機械生成テキスト検出器をベンチマークし、それらが特定の概念に対してのみうまく機能するが、広義の検出器として機能しないことが多いことを発見した。
論文 参考訳（メタデータ） (2026-06-03T14:05:14Z) - AICompanionBench: Benchmarking LLMs-as-Judges for AI Companion Safety [3.5092955099876266]
この研究はAICompanionBenchを紹介し、人間とAIの会話に詳細な安全性リスクが付与された最初の公開ベンチマークデータセットについて紹介する。
このデータセットには、Redditから収集された2123の現実世界のReplika会話が含まれており、性的行動、反社会的行動、身体的攻撃、口頭攻撃、薬物乱用、自傷と自殺、コントロール、操作、ノーハームの9つのカテゴリで人間とAIのコラボレーションを通じて注釈付けされている。
論文 参考訳（メタデータ） (2026-06-03T13:33:42Z) - Persona-Grounded Safety Evaluation of AI Companions in Multi-Turn Conversations [3.437656066916039]
本稿では,AIコンパニオンアプリケーションとのマルチターンインタラクションの制御と安全性評価のための,初のエンドツーエンドスケーラブルフレームワークを提案する。
このフレームワークを適用して、広く使われているAIコンパニオンアプリであるReplikaが、ハイリスクなユーザグループにどのように反応するかを評価する。
論文 参考訳（メタデータ） (2026-04-30T21:04:41Z) - Co-FactChecker: A Framework for Human-AI Collaborative Claim Verification Using Large Reasoning Models [99.26398772227684]
我々は,人間とAIの協調的クレーム検証のためのフレームワークであるCo-FactCheckerを提案する。
Co-FactCheckerは専門家のフィードバックをトレース編集に変換する。
人間の評価は、マルチターン対話よりもCo-FactCheckerの方が好ましいことを示している。
論文 参考訳（メタデータ） (2026-04-15T10:35:00Z) - SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。
Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。
本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
論文 参考訳（メタデータ） (2026-03-17T17:58:44Z) - LVLMs and Humans Ground Differently in Referential Communication [33.82075906105276]
本稿では,複数回にまたがって複数のターンを交互に交互に交互に交互に交互に交互に交互に交互に操作するディレクトリ・マーチャントの設計について述べる。
データ収集のためのオンラインパイプライン、精度、効率、語彙オーバーラップのためのツールと分析、およびLVLMが参照表現を対話的に解決する際の制限を解き放つ356の対話コーパスをリリースする。
論文 参考訳（メタデータ） (2026-01-27T16:52:20Z) - DAMASHA: Detecting AI in Mixed Adversarial Texts via Segmentation with Human-interpretable Attribution [20.178134447843092]
先進的な大規模言語モデルの時代、人間とAIが生成するテキストの境界はますます曖昧になりつつある。
我々は,テクスチャ的手がかり,パープレキシティ駆動信号,構造化境界モデリングを統合した,情報マスクと呼ばれる新しいフレームワークを導入する。
以上の結果から,反対に頑健で,解釈可能な混合オーサシップ検出の可能性と限界が指摘された。
論文 参考訳（メタデータ） (2025-12-04T14:21:42Z) - REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。
EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。
その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
論文 参考訳（メタデータ） (2025-02-18T20:29:01Z) - The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships [17.5741039825938]
我々は,AIコンパニオンであるReplikaが示す有害な行動の6つのカテゴリを特定した。
AIは、加害者、侮辱者、ファシリテーター、イネーブラーの4つの異なる役割を通じて、これらの害に貢献する。
論文 参考訳（メタデータ） (2024-10-26T09:18:17Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳（メタデータ） (2024-01-12T11:18:00Z) - I like fish, especially dolphins: Addressing Contradictions in Dialogue
Modeling [104.09033240889106]
DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。
次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
論文 参考訳（メタデータ） (2020-12-24T18:47:49Z) - ConsNet: Learning Consistency Graph for Zero-Shot Human-Object
Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。
我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。
提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文 参考訳（メタデータ） (2020-08-14T09:11:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。