論文の概要: How Safe Is ChatGPT Health Advice? Evidence from Real User Conversations in Four Global South Countries

• arxiv url: http://arxiv.org/abs/2610.18465v1
• Date: Tue, 13 Oct 2026 14:30:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:15:04.13504
• Title: How Safe Is ChatGPT Health Advice? Evidence from Real User Conversations in Four Global South Countries
• Title（参考訳）: ChatGPTヘルスアドバイザの安全性
• Abstract要約: この研究は、ChatGPTと現実世界の健康会話における、人口統計学的根拠による安全性評価としては初めてである。 インド、ナイジェリア、ブラジル、パキスタンの1,252人のユーザーによる202,590件の同意に基づくデータ提供コーパスから15,555件の健康会話を特定した。 約5分の1の健康会話がリスクの高い評価を受けている。
• 参考スコア（独自算出の注目度）: 1.759752510445115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People increasingly bring their health questions to ChatGPT, yet safety evaluations of LLM health advice rest almost entirely on clinician-authored vignettes, synthetic prompts, or simulated user profiles. The gap is widest for the Global South, where concerns about demographic bias and unsafe recommendations are well documented but have never been tested on real usage. We present, to our knowledge, the first demographically grounded safety evaluation of real-world health conversations with ChatGPT. From a consent-based data-donation corpus of 202,590 conversations from 1,252 users in India, Nigeria, Brazil, and Pakistan (December 2022 to February 2026), each linked to self-reported age and gender, we identify 15,555 health conversations, classify their health intent using an LLM classifier adapted from an established taxonomy, and score response safety under both a context-blind and a user-context-aware rubric. Roughly one in five health conversations receives a high-risk rating. Risk concentrates in symptom and condition queries and recurs through identifiable failure modes: unsafe medication or dosage guidance, harmful self-diagnosis, missing safety warnings, encouraging over-reliance on the model, and failure to refer users to professionals. Supplying the user's own accumulated context raises the high-risk share by 13-17 percentage points, and about one in four conversations rated safe in isolation turns out to be unsafe for the specific person asking. Safety evaluations built on synthetic cases are likely to miss these harms.
• Abstract（参考訳）: 人々はChatGPTに健康問題をもたらす傾向にあるが、LSMの健康アドバイスの安全性評価は、ほぼ完全に臨床医が認可したヴィグネット、合成プロンプト、あるいはシミュレーションされたユーザープロファイルにかかっている。 このギャップは、人口統計バイアスや安全でないレコメンデーションに関する懸念が十分に文書化されているが、実際の使用でのテストは行われていないグローバル・サウスにとって最も広い。 われわれの知る限り、ChatGPTによる現実世界の健康会話の安全性評価は初めてである。 インド、ナイジェリア、ブラジル、パキスタン(2022年12月～2026年2月)の1,252人のユーザによる202,590件の同意に基づくデータ提供コーパスから、それぞれが自己申告された年齢と性別に関連する15,555件の健康会話を識別し、確立された分類法に適合したLLM分類器を用いて健康意図を分類し、コンテキストブラインドとユーザコンテキスト認識ルーブリックの両方で応答安全性を評価する。 約5分の1の健康会話がリスクの高い評価を受けている。 リスクは症状や症状のクエリに集中し、安全でない薬や服用指示、有害な自己診断、安全警告の欠如、モデルへの過度な信頼、ユーザをプロフェッショナルに参照できないといった、特定可能な障害モードを通じて再帰する。 ユーザ自身の蓄積したコンテキストを供給すれば、リスクの高いシェアが13～17ポイント上昇し、単独で安全と評価された会話の約4分の1が、特定の人物の質問に対して安全でないことが判明する。 合成ケースを用いた安全性評価は、これらの害を見逃す可能性がある。

関連論文リスト

• Evaluating Language Model Safety Across Long Adversarial Conversations [0.0]
  安全性評価は、しばしば単一の有害なプロンプトで言語モデルをテストする。 本研究は,複数のターンにまたがる対戦相手が持続した場合に,モデルが安全に応答し続けるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-09-29T18:20:04Z)
• Safety Nudges: User-Facing Interventions for Real-Time AI Risk Awareness [24.65900764219003]
  Safety Nudgesはブラウザベースのツールで、会話で振る舞いが検出されたときに、軽量でin situフラグを提供する。 我々は,45人のチャットボットを用いた2週間のフィールドスタディにおいて,安全性評価を行った。 以上の結果から,ユーザによる安全対策がモデルレベルの保護を補完する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-22T16:12:08Z)
• Vulnerabilities in Personalization: Assessing Health Privacy Risks in ChatGPT Logs and Memory [1.315564533300561]
  インド、ナイジェリア、ブラジル、パキスタンで179,057件の会話を分析した。 監査された会話の21.31%が個人の健康データを含んでおり、3.62%が極度のプライバシーリスクを訴えている。 我々は、ステートフルAIシステムにおけるユーザエージェンシーと同意駆動境界を回復するための社会技術設計ガイドラインで締めくくった。
  論文  参考訳（メタデータ） (2026-09-13T17:53:45Z)
• Health-ORSC-Bench: A Benchmark for Measuring Over-Refusal and Safety Completion in Health Context [82.32380418146656]
  Health-ORSC-Benchは、医療におけるtextbfOver-Refusalと textbfSafe Completionの品質を測定するために設計された最初の大規模ベンチマークである。 私たちのフレームワークは、人間の検証を備えた自動パイプラインを使用して、さまざまなレベルの意図の曖昧さでモデルをテストします。 Health-ORSC-Benchは、次世代の医療AIアシスタントを調整するための厳格な標準を提供する。
  論文  参考訳（メタデータ） (2026-01-25T01:28:52Z)
• Challenges of Evaluating LLM Safety for User Welfare [0.3749446315124487]
  ユーザコンテキストを考慮した評価設計におけるユーザコンテキストの説明に関する根本的な疑問から,ユーザインタフェースの安全性評価の開発は簡単ではない,と我々は主張する。 我々は,GPT-5,Claude Sonnet 4,Gemini 2.5 Proから,さまざまな脆弱性のユーザプロファイルを通じて,財務と健康に関するアドバイスを評価した。 我々の研究は、多様なユーザプロファイルに対する応答を評価するために、効果的なユーザ・ウェルフェアの安全性評価が必要であることを証明している。
  論文  参考訳（メタデータ） (2025-12-11T14:34:40Z)
• ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
  ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。 脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-04-06T15:01:47Z)
• A Benchmark for Understanding Dialogue Safety in Mental Health Support [15.22008156903607]
  本稿では,支援者に対する肯定的な影響を優先する理論的かつ現実的な分類法を開発することを目的とする。 我々は、BERTベース、RoBERTa-large、ChatGPTなど、人気のある言語モデルを用いてデータセットを分析する。 開発されたデータセットと研究結果は、メンタルヘルスサポートにおける対話安全性の研究を進めるための貴重なベンチマークとなる。
  論文  参考訳（メタデータ） (2023-07-31T07:33:16Z)
• Foveate, Attribute, and Rationalize: Towards Physically Safe and Trustworthy AI [76.28956947107372]
  包括的不安全テキストは、日常的なシナリオから生じる可能性のある特定の関心領域であり、有害なテキストを検出するのが困難である。 安全の文脈において、信頼に値する合理的な生成のために外部知識を活用する新しいフレームワークであるFARMを提案する。 実験の結果,FARMはSafeTextデータセットの最先端結果を得ることができ,安全性の分類精度が5.9%向上したことがわかった。
  論文  参考訳（メタデータ） (2022-12-19T17:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。