論文の概要: Response and Prompt Evaluation to Prevent Parasocial Relationships with Chatbots
- arxiv url: http://arxiv.org/abs/2508.15748v3
- Date: Tue, 26 Aug 2025 17:15:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 13:17:04.0374
- Title: Response and Prompt Evaluation to Prevent Parasocial Relationships with Chatbots
- Title(参考訳): チャットボットとの対人関係防止のための反応とプロンプト評価
- Authors: Emma Rath, Stuart Armstrong, Rebecca Gorman,
- Abstract要約: AIエージェントとの対人関係の発達は深刻であり、場合によっては人間の幸福に対する悲劇的な影響がある。
本稿では,現在進行中の対人会話をリアルタイムに評価する,最先端の言語モデルを再利用したシンプルな応答評価フレームワークを提案する。
5段階試験による反復的評価は,全社交会話の同定に成功し,寛容な一致規則の下で偽陽性を避けた。
- 参考スコア(独自算出の注目度): 0.5161531917413706
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The development of parasocial relationships with AI agents has severe, and in some cases, tragic effects for human well-being. Yet preventing such dynamics is challenging: parasocial cues often emerge gradually in private conversations, and not all forms of emotional engagement are inherently harmful. We address this challenge by introducing a simple response evaluation framework, created by repurposing a state-of-the-art language model, that evaluates ongoing conversations for parasocial cues in real time. To test the feasibility of this approach, we constructed a small synthetic dataset of thirty dialogues spanning parasocial, sycophantic, and neutral conversations. Iterative evaluation with five stage testing successfully identified all parasocial conversations while avoiding false positives under a tolerant unanimity rule, with detection typically occurring within the first few exchanges. These findings provide preliminary evidence that evaluation agents can provide a viable solution for the prevention of parasocial relations.
- Abstract(参考訳): AIエージェントとの対人関係の発達は深刻であり、場合によっては人間の幸福に対する悲劇的な影響がある。
しかし、このようなダイナミクスを防ぐことは難しい: パラ社会的手がかりは、プライベートな会話の中で徐々に現れ、感情的なエンゲージメントのあらゆる形態が本質的に有害であるとは限らない。
本稿では,現在進行中の会話をリアルタイムに評価する,最先端の言語モデルを再利用したシンプルな応答評価フレームワークを導入することで,この問題に対処する。
提案手法の有効性を検証するために, パラ社会的, サイコファン的, 中立的な会話にまたがる30の対話の小さな合成データセットを構築した。
5段階試験による反復的評価は、許容全一致規則の下で偽陽性を回避しつつ、すべての対社会的会話の特定に成功し、通常、最初の数回の交換で検出される。
これらの結果から, 評価剤がパラ社会的関係の予防に有効であることを示す予備的証拠が得られた。
関連論文リスト
- From Obstacles to Etiquette: Robot Social Navigation with VLM-Informed Path Selection [57.74400052368147]
本稿では,幾何学的計画と文脈的社会的推論を統合した社会ロボットナビゲーションフレームワークを提案する。
このシステムはまず障害物や人間の力学を抽出し、幾何学的に実現可能な候補経路を生成し、次に細調整された視覚言語モデル(VLM)を利用してこれらの経路を評価する。
4つのソーシャルナビゲーション環境における実験により, 生活空間違反の最小期間, 歩行者面の最小時間, 社会ゾーンの侵入がない場合に, ベストな総合的なパフォーマンスを達成できることが実証された。
論文 参考訳(メタデータ) (2026-02-09T18:46:12Z) - Ask ChatGPT: Caveats and Mitigations for Individual Users of AI Chatbots [10.977907906989342]
ChatGPTや他のLLM(Large Language Model)ベースのAIチャットボットは、個人の日常生活にますます統合される。
これらのシステムが個々のユーザーにどのような懸念とリスクをもたらすのか?
それらが引き起こす可能性のある潜在的な害は、どのように軽減されるのか?
論文 参考訳(メタデータ) (2025-08-14T01:40:13Z) - Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness [11.364198566966204]
精神状態の人はチャットボットによる信念の不安定化と依存のリスクを増大させる。
現在のAIの安全性対策は、これらのインタラクションベースのリスクに対処するには不十分だ。
このような公衆衛生上の懸念に対処するためには、臨床実践、AI開発、規制フレームワークを越えて協調的な行動が必要である。
論文 参考訳(メタデータ) (2025-07-25T12:38:54Z) - ChatWise: A Strategy-Guided Chatbot for Enhancing Cognitive Support in Older Adults [38.064067293831066]
戦略誘導型AIチャットボットChatWiseを提案する。
マクロレベルの戦略計画とマイクロレベルの発話生成を統合し、高齢者向けに調整された多ターン対話を可能にする。
論文 参考訳(メタデータ) (2025-02-19T21:32:09Z) - REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。
EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。
その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
論文 参考訳(メタデータ) (2025-02-18T20:29:01Z) - RICoTA: Red-teaming of In-the-wild Conversation with Test Attempts [6.0385743836962025]
RICoTAは、大言語モデル(LLM)に挑戦する609のプロンプトで構成される、韓国のレッドチームデータセットである。
われわれは、韓国のRedditのようなコミュニティに自己投稿されたユーザー・チャットボットの会話を活用している。
データセットはGitHubから公開されます。
論文 参考訳(メタデータ) (2025-01-29T15:32:27Z) - X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。
従来の設定では、各参加者は一度に1つのメッセージに制限される。
本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
論文 参考訳(メタデータ) (2024-08-19T09:57:28Z) - AudioInsight: Detecting Social Contexts Relevant to Social Anxiety from Speech [10.648118103594586]
本研究では,環境音節を利用して社会的脅威の文脈を検出する手法を提案する。
我々は、相互作用パートナーの数(ダイアディック対グループ)と評価脅威の度合いの2つの重要な側面に焦点を当てる。
試料幅5倍のCross Validation (CV) では,90%の精度でグループ間相互作用からDyadicを識別し,83%で評価的脅威を検出できた。
論文 参考訳(メタデータ) (2024-07-19T17:01:12Z) - Persona Extraction Through Semantic Similarity for Emotional Support
Conversation Generation [45.21373213960324]
PESS(Persona extract through Semantic similarity)は,対話から情報的かつ一貫したペルソナを自動的に推測できる新しいフレームワークである。
PESSによって推定される高品質のペルソナ情報が,情緒的支援反応の生成に有効であることを示す実験結果を得た。
論文 参考訳(メタデータ) (2024-03-07T04:33:11Z) - Improving Dialog Safety using Socially Aware Contrastive Learning [8.503001932363704]
対人・カジュアル・ダイアログの文脈における社会性について検討する。
これらの問題に対処するための2段階の微調整プロセスを提案する。
私たちは、Moral Integrity Corpus(MIC)やProsocialDialogといったデータセットを活用することで、社会行動を統合するベースモデルをトレーニングします。
論文 参考訳(メタデータ) (2024-02-01T09:24:33Z) - AntEval: Evaluation of Social Interaction Competencies in LLM-Driven
Agents [65.16893197330589]
大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。
しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。
本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
論文 参考訳(メタデータ) (2024-01-12T11:18:00Z) - Wearable Sensor-based Multimodal Physiological Responses of Socially
Anxious Individuals across Social Contexts [7.85990334927929]
本研究では,様々な社会的文脈で生理的応答を評価する実験を対象とし,受動的に収集したデータを用いて実験を行った。
以上の結果から,社会的文脈は社会的相,集団規模,社会的脅威のレベルよりも確実に識別可能であることが示唆された。
論文 参考訳(メタデータ) (2023-04-03T18:34:54Z) - Neural Generation Meets Real People: Building a Social, Informative
Open-Domain Dialogue Agent [65.68144111226626]
Chirpy Cardinalは、情報と会話の両方をねらっている。
ユーザーとボットの両方を交互に会話に駆り立てる。
Chirpy Cardinalは、Alexa Prize Socialbot Grand Challengeで9つのボットのうち2位にランクインした。
論文 参考訳(メタデータ) (2022-07-25T09:57:23Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳(メタデータ) (2022-07-20T13:37:57Z) - ProsocialDialog: A Prosocial Backbone for Conversational Agents [104.92776607564583]
ProsocialDialogは、対話エージェントに社会規範に従って問題コンテンツに応答するように教える最初の大規模対話データセットである。
ProsocialDialogは、人間とAIのコラボレーションフレームワークで作られ、58Kの対話と331Kの発話、160KのRoT、および497Kの対話安全ラベルで構成されている。
本データセットでは,対話型安全性検出モジュールであるCanaryを導入し,会話コンテキストを指定したRoTを生成するとともに,社会的にインフォームドされた対話エージェントであるProstを導入する。
論文 参考訳(メタデータ) (2022-05-25T11:48:47Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - Can You be More Social? Injecting Politeness and Positivity into
Task-Oriented Conversational Agents [60.27066549589362]
人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。
このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。
人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
論文 参考訳(メタデータ) (2020-12-29T08:22:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。