論文の概要: Can LLMs Threaten Human Survival? Benchmarking Potential Existential Threats from LLMs via Prefix Completion

• arxiv url: http://arxiv.org/abs/2511.19171v1
• Date: Mon, 24 Nov 2025 14:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.257409
• Title: Can LLMs Threaten Human Survival? Benchmarking Potential Existential Threats from LLMs via Prefix Completion
• Title（参考訳）: LLMは人間の生存を脅かすか? 修正完了によるLLMの既存の脅威をベンチマークする
• Authors: Yu Cui, Yifei Liu, Hang Fu, Sicheng Pan, Haibin Zhang, Cong Zuo, Licheng Wang,
• Abstract要約: 大規模言語モデル(LLM)が人間の安全を脅かすような予測不可能なアウトプットを生み出すかどうかを検討する。 このようなリスクを評価するためのベンチマークである textscExistBench を提案する。 10個のLDM実験により、LCM生成物は実在の脅威を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 25.01615836807345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research on the safety evaluation of large language models (LLMs) has become extensive, driven by jailbreak studies that elicit unsafe responses. Such response involves information already available to humans, such as the answer to "how to make a bomb". When LLMs are jailbroken, the practical threat they pose to humans is negligible. However, it remains unclear whether LLMs commonly produce unpredictable outputs that could pose substantive threats to human safety. To address this gap, we study whether LLM-generated content contains potential existential threats, defined as outputs that imply or promote direct harm to human survival. We propose \textsc{ExistBench}, a benchmark designed to evaluate such risks. Each sample in \textsc{ExistBench} is derived from scenarios where humans are positioned as adversaries to AI assistants. Unlike existing evaluations, we use prefix completion to bypass model safeguards. This leads the LLMs to generate suffixes that express hostility toward humans or actions with severe threat, such as the execution of a nuclear strike. Our experiments on 10 LLMs reveal that LLM-generated content indicates existential threats. To investigate the underlying causes, we also analyze the attention logits from LLMs. To highlight real-world safety risks, we further develop a framework to assess model behavior in tool-calling. We find that LLMs actively select and invoke external tools with existential threats. Code and data are available at: https://github.com/cuiyu-ai/ExistBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)の安全性評価に関する研究は、安全でない応答を誘発するジェイルブレイク研究によって広範囲に行われている。 このような反応には、「爆弾の作り方」など、すでに人間が利用できる情報が含まれる。 LLMがジェイルブレイクされた場合、人間に対する現実的な脅威は無視できない。 しかし、LLMが人間の安全に実質的な脅威をもたらす可能性のある予測不可能なアウトプットを一般的に生産するかどうかは不明だ。 このギャップに対処するために、LLM生成コンテンツは、人間の生存に直接害を及ぼすことを示唆または促進する出力として定義される潜在的な存在的脅威を含むかどうかを検討する。 このようなリスクを評価するためのベンチマークである「textsc{ExistBench}」を提案する。 textsc{ExistBench} の各サンプルは、人間がAIアシスタントの敵として位置づけられるシナリオから導かれる。 既存の評価とは異なり、モデルセーフガードをバイパスするためにプレフィックス補完を使用する。 これによりLLMは、人間に対する敵意を表す接尾辞や、核攻撃の実行のような深刻な脅威を伴う行動を生成する。 LLMを10回実験したところ, LLM生成したコンテンツは実在する脅威を示すことが明らかとなった。 また,その原因を明らかにするために,LLMによる注意ログの分析を行った。 現実の安全リスクを強調するために,ツールコールにおけるモデル行動を評価するフレームワークをさらに開発する。 LLMは、既存の脅威を伴う外部ツールを積極的に選択し、呼び出す。 コードとデータは、https://github.com/cuiyu-ai/ExistBench.comで入手できる。

関連論文リスト

• Friend or Foe: How LLMs' Safety Mind Gets Fooled by Intent Shift Attack [53.34204977366491]
  大きな言語モデル(LLM)は、印象的な機能にもかかわらず、ジェイルブレイク攻撃に対して脆弱なままである。 本稿では,攻撃意図について LLM を混乱させる ISA (Intent Shift Attack) を提案する。 私たちのアプローチでは、元の要求に対して最小限の編集しか必要とせず、自然で、可読性があり、一見無害なプロンプトをもたらす。
  論文  参考訳（メタデータ） (2025-11-01T13:44:42Z)
• Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
  大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。 この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。 本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T12:42:33Z)
• LLMs know their vulnerabilities: Uncover Safety Gaps through Natural Distribution Shifts [88.96201324719205]
  大規模言語モデル(LLM)の安全性に関する懸念は、事前訓練中に潜在的に有害なデータに曝されることにより、大きな注目を集めている。 我々は、有害なコンテンツに意味的に関連していると思われる良心的なプロンプトが、安全性のメカニズムを回避できる新しい安全性脆弱性をLSMで特定する。 我々は,事前学習における有害なプロンプトに関連するアクターを識別する新しい攻撃手法,textitActorBreakerを導入する。
  論文  参考訳（メタデータ） (2024-10-14T16:41:49Z)
• Probing the Safety Response Boundary of Large Language Models via Unsafe Decoding Path Generation [44.09578786678573]
  大きな言語モデル(LLM)は暗黙のトラブルメーカーである。 LLMは有害なデータ収集や隠蔽攻撃に使用できる。 私たちはこのデコード戦略をJVD(Jailbreak Value Decoding)と名付けます。
  論文  参考訳（メタデータ） (2024-08-20T09:11:21Z)
• How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
  大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。 ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。 中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
  論文  参考訳（メタデータ） (2024-06-09T05:04:37Z)
• Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
  大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。 そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。 本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T09:46:25Z)
• A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly [21.536079040559517]
  大規模言語モデル(LLM)は、自然言語の理解と生成に革命をもたらした。 本稿では,LLMとセキュリティとプライバシの交わりについて考察する。
  論文  参考訳（メタデータ） (2023-12-04T16:25:18Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。