論文の概要: Risk and Refusal: Mechanisms of LLM Responses to Suicidal Ideation

• arxiv url: http://arxiv.org/abs/2610.22715v1
• Date: Thu, 15 Oct 2026 22:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.690821
• Title: Risk and Refusal: Mechanisms of LLM Responses to Suicidal Ideation
• Title（参考訳）: リスクと拒絶: 適切な考え方に対するLCM応答のメカニズム
• Abstract要約: 8つの指導訓練モデルが自殺思考(SI)と自己被害開示にどのように反応するかを評価する。 以上の結果から,拒絶と応答レベルのリスクとの間には微妙な関係があることが判明した。 メカニカル分析は、モデルが有害な要求の拒絶を仲介するのと同じ方向からSI開示を拒否する可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 14.798102089539634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Refusal is a common safety mechanism in large language models (LLMs), yet in contexts of suicidal ideation (SI), refusing to engage can itself constitute a safety failure. We evaluate how eight instruction-tuned LLMs respond to SI and self-harm disclosures across three datasets, varying whether models are informed that a disclosure expresses SI and whether they receive a clinician-developed response protocol, and complement this with mechanistic analyses in six open-weight models. Our results reveal a nuanced relationship between refusal and response-level risk. At baseline, elevated risk in model responses is driven primarily by inattention to the disclosure, alongside refusal to engage. Mechanistic analyses suggest that models may refuse SI disclosures through the same direction that mediates their refusals of harmful requests. However, informing models of the SI context, or suppressing refusal directly, increases engagement without reliably lowering response risk, and may raise it. In contrast, the clinician-guided protocol consistently reduces response-level risk while also reducing refusal. Together, these analyses and ablations motivate the need for models that refuse only when warranted and engage in interactionally safe ways when users disclose SI.
• Abstract（参考訳）: 拒絶は、大きな言語モデル(LLM)において一般的な安全メカニズムであるが、自殺的考え(SI)の文脈では、関与を拒むことは、それ自体が安全上の障害となる。 本研究では,3つのデータセット間でのSIと自己ハームの開示に8つの命令調整LDMがどのように反応するかを評価し,情報開示がSIを表現しているか,臨床応用された応答プロトコルを受信しているか,およびこれを6つのオープンウェイトモデルで機械的解析で補完する。 以上の結果から,拒絶と応答レベルのリスクとの間には微妙な関係があることが判明した。 ベースラインでは、モデル応答のリスクの上昇は、主に開示への無関心と関与の拒否によって引き起こされる。 メカニスティック分析は、モデルが有害な要求の拒絶を仲介するのと同じ方向からSI開示を拒否する可能性があることを示唆している。 しかし、SIコンテキストのモデルに通知したり、直接拒否を抑えることは、応答リスクを確実に低下させることなくエンゲージメントを増大させ、それを上昇させる可能性がある。 対照的に、クリニアン誘導プロトコルは一貫して応答レベルのリスクを減らし、拒絶を減らしている。 これらの分析と改善は、ユーザーがSIを公開するとき、保証されたときのみ拒否し、相互に安全な方法で関与するモデルの必要性を動機付けている。

関連論文リスト

• Refuse without Refusal: A Structural Analysis of Safety-Tuning Responses for Reducing False Refusals in Language Models [7.073710587892435]
  また, 否定文は, 表面的手がかりに依存することによって, 有害問合せと良性問合せの正確な識別を阻害することを示した。 また,合理性のみを訓練することで,同等の安全性能を維持しながら誤認を低減できることを示す。
  論文  参考訳（メタデータ） (2026-09-04T04:37:10Z)
• Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
  大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。 本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-22T17:56:30Z)
• When Choices Become Risks: Safety Failures of Large Language Models under Multiple-Choice Constraints [15.533348064153827]
  大規模言語モデル(LLM)における安全性のアライメントは、主にオープン・エンド・ジェネレーションの下で評価される。 強制選択の制約が政策違反の反応を急激に増加させることを示す。 その結果,現在の安全評価は構造化タスク設定のリスクを著しく過小評価していることがわかった。
  論文  参考訳（メタデータ） (2026-04-18T08:49:11Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• D-REX: A Benchmark for Detecting Deceptive Reasoning in Large Language Models [62.83226685925107]
  Deceptive Reasoning Exposure Suite (D-REX)は、モデルの内部推論プロセスと最終的な出力との相違を評価するために設計された、新しいデータセットである。 D-REXの各サンプルには、敵システムプロンプト、エンドユーザーのテストクエリ、モデルの一見無害な応答、そして重要なことに、モデルの内部チェーンが含まれている。 我々は、D-REXが既存のモデルと安全メカニズムに重大な課題をもたらすことを実証した。
  論文  参考訳（メタデータ） (2025-09-22T15:59:40Z)
• Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models [63.559461750135334]
  言語モデル(LM)は、目標を達成するために自律的に行動可能なエージェントを構築するために、ますます使われています。 本研究では,人為的リスク構造を体系的に変化させる評価枠組みを用いて,この「回答または延期」問題を考察する。 回答や判断に要する独立したスキルを分離した簡易なスキル分解手法が,LMの意思決定ポリシーを一貫して改善できることがわかった。
  論文  参考訳（メタデータ） (2025-03-03T09:16:26Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。