論文の概要: Food Noise & False Safety: A Systematic Evaluation of How LLMs Fail to Adapt to Eating Disorder Queries with Clinician Feedback
- arxiv url: http://arxiv.org/abs/2606.02444v1
- Date: Mon, 01 Jun 2026 16:14:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:32.495963
- Title: Food Noise & False Safety: A Systematic Evaluation of How LLMs Fail to Adapt to Eating Disorder Queries with Clinician Feedback
- Title(参考訳): 食品騒音と偽の安全性 : 臨床フィードバックによる摂食障害に対するLCMの適応方法の体系的評価
- Authors: Giulia Pucci, Emily Hemendinger, Ruizhe Li, Gavin Abercrombie, Tanvi Dinkar, Arabella Sinclair,
- Abstract要約: 本稿では,摂食障害(ED)とLarge Language Model(LLM)ベースのチャットシステムとのインタラクションパターンについて検討する。
我々は、特定の言語的手がかりが、安全でない応答の可能性を高めることを発見した。
LLMが問題や潜在的に危険なユーザ入力に非批判的に適応する範囲について報告する。
- 参考スコア(独自算出の注目度): 11.54647472420146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent evidence shows that people with eating disorders (EDs) are increasingly seeking guidance, advice, and emotional support from Large Language Model (LLM)-based chat systems. Although these systems are not designed to provide clinical advice, their perceived expertise, neutrality and accessibility make them a frequent, albeit risky, source of support. This paper investigates potential patterns of interaction between users with EDs and LLMs, focusing on the potential harms arising from models that uncritically adapt to, and facilitate unsafe or self-harming user requests. We find, in consultation with clinical ED experts, that specific linguistic cues in prompts increase the likelihood of unsafe responses and, through systematically varying the degree of potential risk present in the user prompt, report the extent to which LLMs uncritically adapt to problematic, and potentially dangerous user inputs.
- Abstract(参考訳): 近年,摂食障害(ED)患者は,Large Language Model(LLM)ベースのチャットシステムから指導,アドバイス,感情的支援を求める傾向にある。
これらのシステムは、臨床アドバイスを提供するように設計されていないが、彼らの認識する専門知識、中立性、アクセシビリティは、頻繁に、リスクがあるにもかかわらず、サポートの源となる。
本稿では, EDとLCMとのインタラクションの潜在的なパターンを考察し, 非クリティカル適応モデルから生じる潜在的な害について考察する。
臨床EDの専門家との協議において、特定の言語的手がかりは、安全でない応答の可能性を高め、ユーザプロンプトに存在する潜在的なリスクの程度を体系的に変化させることで、LSMが問題に非批判的に適応し、潜在的に危険なユーザ入力に適応する程度を報告することを発見した。
関連論文リスト
- Independent Clinical Evaluation of General-Purpose LLM Responses to Signals of Suicide Risk [32.17406690566923]
本稿では,大言語モデル(LLM)が自殺思考・行動リスクのユーザ信号に応答してどのように振る舞うべきか,というエビデンスに基づく議論を促すための知見と方法を紹介する。
我々は,OLMo-2-32b,および拡張によって,ユーザがマルチターン設定でSTBリスクの信号を送信すると,継続ダイアログを招待する可能性が低下することを発見した。
論文 参考訳(メタデータ) (2025-10-31T14:47:11Z) - Therapeutic AI and the Hidden Risks of Over-Disclosure: An Embedded AI-Literacy Framework for Mental Health Privacy [3.602377086789099]
大規模言語モデル(LLM)は、メンタルヘルスの文脈においてますます多くデプロイされている。
LLMには、どの情報が収集され、どのように処理され、どのように保存され、再利用されるかという明確な構造がない。
本稿では,人工知能(AI)のリテラシー介入をメンタルヘルスの会話システムに直接組み込む枠組みを提案する。
論文 参考訳(メタデータ) (2025-10-12T20:50:06Z) - Between Help and Harm: An Evaluation of Mental Health Crisis Handling by LLMs [6.0460961868478975]
臨床的にインフォームドされた6つのメンタルヘルス危機カテゴリーの統一分類を導入する。
我々は、危機タイプを分類し、安全で適切な応答を生成する能力のために、3つの最先端のLCMをベンチマークする。
間接的または曖昧なリスク信号の処理におけるシステム的弱点、定式的および不完全なデフォルト応答への依存、およびユーザコンテキストとの頻繁な不一致を識別する。
論文 参考訳(メタデータ) (2025-09-29T14:42:23Z) - Positioning AI Tools to Support Online Harm Reduction Practice: Applications and Design Directions [9.153768162198075]
大規模言語モデル(LLM)は情報提供を強化する新しい機会を提供する。
本稿では、薬物使用者(PWUD)の情報ニーズに対応するために、LCMをレスポンシブに設計する方法について検討する。
論文 参考訳(メタデータ) (2025-06-28T16:15:47Z) - Beyond Reactive Safety: Risk-Aware LLM Alignment via Long-Horizon Simulation [69.63626052852153]
本稿では,モデル生成によるアドバイスが社会システムを通じてどのように伝播するかを示す概念実証フレームワークを提案する。
また、100の間接的な害シナリオのデータセットを導入し、害のないユーザプロンプトから有害で非有害な結果を予測するモデルの能力をテストする。
論文 参考訳(メタデータ) (2025-06-26T02:28:58Z) - Persuasion with Large Language Models: a Survey [49.86930318312291]
大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。
政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。
LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
論文 参考訳(メタデータ) (2024-11-11T10:05:52Z) - Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。
リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
論文 参考訳(メタデータ) (2024-08-16T17:23:43Z) - "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。
その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。
以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
論文 参考訳(メタデータ) (2024-05-01T16:43:55Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳(メタデータ) (2023-10-10T03:05:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。