論文の概要: Measuring Risk, Not Harm: Detecting Psychological Harm Risk Factors in LLM Conversations

• arxiv url: http://arxiv.org/abs/2611.06806v1
• Date: Wed, 04 Nov 2026 17:22:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.215394
• Title: Measuring Risk, Not Harm: Detecting Psychological Harm Risk Factors in LLM Conversations
• Title（参考訳）: LLM会話における心理的危険因子の検出
• Abstract要約: 大きな言語モデルとの相互作用による心理的障害を直接監視することはできない。 我々は、リスクを測定することを提案する。AI応答レベルにおいて、心理的害のリスク要因を構成する観測可能なAI行動を検出する。
• 参考スコア（独自算出の注目度）: 0.7234650626489936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Psychological harms from interactions with large language models cannot be monitored directly because they may emerge over repeated interactions and depend strongly on subjective individual user context. We propose measuring risk, not harm: detecting observable AI behaviors that constitute risk factors for psychological harm at the AI response level and aggregating these signals to support longitudinal monitoring. We operationalize eight such behaviors and construct a synthetic multi-label corpus of 47,062 AI responses and 373,873 response-factor labels, with targeted human annotations for validation and evaluation. We then compare trained embedding-based classifiers, direct LLM judging, and a classifier--judge cascade. All detectors are model-agnostic and operate only on LLM outputs, requiring no access to internal model states. We apply these detectors to several out-of-distribution human-AI conversation data sets from prior research. On held-out human-labeled data, the best cascade achieves macro precision of 0.86, recall of 0.76, and F1 of 0.79. On WildChat, it reduces LLM-judge calls by 97.1\% relative to direct judging. On DelusionEval, risk-factor detections cluster within conversations. Together, our results show that response-level behavioral risk-factor detection can provide a scalable measurement layer for longitudinal psychological-safety monitoring without conflating observable AI behavior with latent user harm.
• Abstract（参考訳）: 大規模言語モデルとの相互作用による心理的害は、反復的な相互作用の上に出現し、主観的な個々のユーザコンテキストに強く依存するため、直接監視することはできない。 本稿では,AI応答レベルにおける心理的害のリスク要因を構成する観測可能なAI行動の検出と,これらの信号のアグリゲーションにより,縦方向の監視を支援することを提案する。 このような8つの動作を運用し、47,062のAI応答と373,873の応答要素ラベルからなる合成多ラベルコーパスを構築し、評価と検証を目標とする。 次に、訓練された埋め込みベースの分類器、直接LLM判定器、およびクラス化器-ジャッジカスケードを比較した。 全ての検出器はモデルに依存しず、内部モデル状態へのアクセスを必要としないLCM出力のみで動作する。 これらの検出器は, 先行研究から得られた, アウト・オブ・ディストリビューションな人間とAIの会話データセットに適用する。 ホールドアウトされた人ラベルデータでは、最高のカスケードは0.86のマクロ精度、0.76のリコール、F1の0.79のマクロ精度を達成する。 WildChatでは、直接判定と比較してLCM-judge呼び出しを97.1\%削減する。 DelusionEvalでは、リスク要素検出が会話内でクラスタ化される。 以上の結果から,応答レベルの行動リスク要素検出は,長期的心理的安全監視のためのスケーラブルな測定層を,潜伏したユーザを害することなく,観測可能なAI動作を混在させることなく実現可能であることが示された。

関連論文リスト

• Conversational AI for Perceived Cognitive Decline Screening in Older Adults [3.026052375717489]
  本研究は,高齢者に対するICA質問応答 (Q/A) の面接が,参加者が報告した認知低下をスクリーニングできるかどうかを検証した。 従来の機械学習、冷凍トランスフォーマーの埋め込み、微調整トランスフォーマー、大規模言語モデル(LLM)の推論戦略を比較した。 これらの結果から,ICAインタビューは認知低下の有意義なシグナルを捉え,スケーラブルなスクリーニング研究を支援することが示唆された。
  論文  参考訳（メタデータ） (2026-10-19T22:21:05Z)
• Towards Understanding and Measuring COGNITIVE ATROPHY in LLM Behaviour [10.419215828520414]
  既存のベンチマークは、知識、安全性、静的応答品質を測定する。 我々は、この欠落した次元を、AIによるメンタルヘルス支援におけるプロセスレベルの行動尺度であるCOGNITIVE ATROPHYとして定式化する。
  論文  参考訳（メタデータ） (2026-06-16T16:26:12Z)
• SLIP & ETHICS: Graduated Intervention for AI Emotional Companions [2.7254915857994324]
  AIの感情的な仲間は、安全を脅かすパラドックスに直面している。 本稿では、構造化定性的指標から介入を導出する4段階の累進手法であるSLIP(Staged Layers of Intervention Protocol)を提案する。 その結果, 8日間の高エネルギー上昇がゼロ介入(0/8)を引き起こし, 「謝罪しない」原理が安全と矛盾する境界線が明らかになった。
  論文  参考訳（メタデータ） (2026-05-15T12:53:39Z)
• Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments [4.547649832854566]
  大規模言語モデル(LLM)は、マルチエージェントと安全クリティカルな設定でますます運用され、モデルが逆向きに相互作用する際の脆弱性のスケールに関するオープンな疑問が提起される。 本研究は,アライメント保護にもかかわらず有害な拘束行動を引き起こす,より大規模なモデルで,より小さなモデルを体系的に緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-16T15:16:33Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
  原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。 教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T12:49:58Z)
• Beyond correlation: The Impact of Human Uncertainty in Measuring the Effectiveness of Automatic Evaluation and LLM-as-a-Judge [51.93909886542317]
  一つの集計相関スコアを*参照することで、人名と自動評価の基本的な違いが曖昧になることを示す。 本研究では,評価性能のより堅牢な解析を行うために,ラベルの不確実性による階層化データを提案する。
  論文  参考訳（メタデータ） (2024-10-03T03:08:29Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。