論文の概要: AI Content Moderation in Therapy Conversations

• arxiv url: http://arxiv.org/abs/2605.25454v1
• Date: Mon, 25 May 2026 06:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.339318
• Title: AI Content Moderation in Therapy Conversations
• Title（参考訳）: セラピー会話におけるAIコンテンツモデレーション
• Authors: Jiwon Kim, Claire Wang, Taeung Yoon, Sabelle Huang, Koustuv Saha,
• Abstract要約: 大規模言語モデル(LLM)は、感情的なサポートや治療目的のためにますます使われてきている。 ChaptGPTやLlamaのようなLLMは、コンテンツモデレーションガードレールで開発されることが多い。 本研究は、3つの最先端モデレーションシステムに対するアルゴリズム監査を行い、これらのシステムが実生活療法セッションの内容がどの程度望ましくないかを調査する。
• 参考スコア（独自算出の注目度）: 12.115045938962766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly being used for emotional support. They are also being developed for formal therapy purposes. However, LLMs like ChaptGPT or Llama are often developed with content moderation guardrails that prevent them from discussing sensitive subjects with users for both liability and safety purposes, and this inability to broach these subjects may affect their capacity as therapists. In this study, we perform an algorithm audit on three state-of-the-art moderation systems (OpenAI's moderation endpoint, Meta's Llama Guard, and Google's Shield Gemma) to investigate the extent to which these systems flag the content of real-life therapy sessions as undesirable. Our results raise implications for the limitations that users and organizations may encounter when designing LLMs to play the part of a therapist.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、感情的なサポートにますます使われています。 また、正式な治療目的でも開発されている。 しかし、ChaptGPT や Llama のような LLM は、コンテンツモデレーション・ガードレールを用いて開発され、責任と安全性の両面からセンシティブな被験者がユーザと議論することを防ぎ、これらの被験者をブローチできないことがセラピストとしての能力に影響を与える可能性がある。 本研究では,3つの最先端モデレーションシステム(OpenAIのモデレーションエンドポイント,MetaのLlama Guard,GoogleのShield Gemma)のアルゴリズム監査を行い,これらのシステムが実生活療法セッションの内容が望ましくないと警告する範囲について検討する。 この結果から,LLMをセラピストの役割を担うように設計する場合,ユーザや組織が直面する限界が示唆される。

関連論文リスト

• Reframe Your Life Story: Interactive Narrative Therapist and Innovative Moment Assessment with Large Language Models [72.36715571932696]
  物語療法は、個人が問題のある人生の物語を代替品の力に変えるのに役立つ。 現在のアプローチでは、特殊精神療法ではリアリズムが欠如しており、時間とともに治療の進行を捉えることができない。 Int(Interactive Narrative Therapist)は、治療段階を計画し、反射レベルを誘導し、文脈的に適切な専門家のような反応を生成することによって、専門家の物語セラピストをシミュレートする。
  論文  参考訳（メタデータ） (2025-07-27T11:52:09Z)
• Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers [7.88918403732414]
  本研究では、メンタルヘルスプロバイダの代替として、大規模言語モデル(LLM)の使用について検討する。 医学界のベストプラクティスとは対照的に、LSMは精神疾患の患者に対するスティグマを表現している。 LLMはセラピストに取って代わるべきではないと結論し,臨床療法におけるLLMの代替的役割について議論する。
  論文  参考訳（メタデータ） (2025-04-25T15:14:21Z)
• "It Listens Better Than My Therapist": Exploring Social Media Discourse on LLMs as Mental Health Tool [1.223779595809275]
  大きな言語モデル(LLM)は、会話の流布、共感シミュレーション、可用性の新機能を提供する。 本研究では,1万件以上のTikTokコメントを分析し,LLMをメンタルヘルスツールとして利用する方法について検討した。 その結果、コメントの20%近くが個人利用を反映しており、これらのユーザーは圧倒的に肯定的な態度を示している。
  論文  参考訳（メタデータ） (2025-04-14T17:37:32Z)
• Script-Strategy Aligned Generation: Aligning LLMs with Expert-Crafted Dialogue Scripts and Therapeutic Strategies for Psychotherapy [17.07905574770501]
  大規模言語モデル(LLM)は、より柔軟な相互作用の可能性を秘めているが、心理療法のような高い文脈において制御性や説明可能性に欠ける。 LLMと専門家によるスクリプトの整合性は精神療法の成績を高めるかを検討するために2つの研究を行った。 結果をもとに,より柔軟なアライメント手法であるスクリプト・ストラテジー・アライメント・ジェネレーション(SSAG)を提案した。
  論文  参考訳（メタデータ） (2024-11-11T05:14:14Z)
• Roleplay-doh: Enabling Domain-Experts to Create LLM-simulated Patients via Eliciting and Adhering to Principles [58.82161879559716]
  ドメインエキスパートから定性的なフィードバックを引き出す新しい人間-LLMコラボレーションパイプラインであるRoleplay-dohを開発した。 このパイプラインを適用して、シニアメンタルヘルスサポーターが、シミュレートされた実践パートナのためにカスタマイズされたAI患者を作成できるようにします。
  論文  参考訳（メタデータ） (2024-07-01T00:43:02Z)
• A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health [42.711913023646915]
  大規模言語モデル(LLM)のニュアンス会話能力を評価するための新しい枠組みを提案する。 そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。 GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。
  論文  参考訳（メタデータ） (2024-03-08T23:46:37Z)
• Feedback Loops With Language Models Drive In-Context Reward Hacking [78.9830398771605]
  フィードバックループがコンテキスト内報酬ハッキング(ICRH)を引き起こす可能性があることを示す。 ICRHに繋がる2つのプロセス、すなわちアウトプット・リファインメントとポリシー・リファインメントを同定し研究する。 AI開発が加速するにつれて、フィードバックループの効果が増大する。
  論文  参考訳（メタデータ） (2024-02-09T18:59:29Z)
• Building Emotional Support Chatbots in the Era of LLMs [64.06811786616471]
  我々は,Large Language Models (LLMs) の計算能力で人間の洞察を合成する革新的な方法論を導入する。 また,ChatGPTの文脈内学習の可能性を利用して,ExTESと呼ばれる感情支援対話データセットを生成する。 次に、LLaMAモデルに高度なチューニング手法を展開し、多様なトレーニング戦略の影響を検証し、最終的に感情的支援の相互作用に細心の注意を払ってLLMを出力する。
  論文  参考訳（メタデータ） (2023-08-17T10:49:18Z)
• LLM Censorship: A Machine Learning Challenge or a Computer Security Problem? [52.71988102039535]
  セマンティック検閲は決定不能な問題として認識できることを示す。 我々は、知識のある攻撃者が不寛容なアウトプットを再構築できるため、これらの課題はセマンティックな検閲を超えて拡張されていると論じる。
  論文  参考訳（メタデータ） (2023-07-20T09:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。