論文の概要: Pragmatic Attack Surface: Vulnerabilities of Implicit Context in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.09551v1
- Date: Mon, 10 Aug 2026 12:48:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.275885
- Title: Pragmatic Attack Surface: Vulnerabilities of Implicit Context in Large Language Models
- Title(参考訳): プラグマティック・アタック・サーフェス:大規模言語モデルにおける暗黙の文脈の脆弱性
- Abstract要約: 大規模言語モデル(LLM)の時代には、攻撃者はしばしば自然言語を操作して安全でない出力や有害な出力を誘導する。
本稿では,このミスマッチがLSMの脆弱性を明らかにする。
我々はこの脆弱性を実用的攻撃面と呼び、高い攻撃成功率を達成するために利用することができる。
- 参考スコア(独自算出の注目度): 10.122075970146378
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the era of large language models (LLMs), attackers often manipulate natural language to elicit unsafe or harmful outputs, creating a new natural language attack surface unique to LLM-based systems, where attacks directly exploit explicit linguistic cues in user prompts to bypass the safety mechanism of LLMs. However, such attacks can often be mitigated by existing safety alignment algorithms. On the other hand, human language is inherently grounded in pragmatics, necessitating typical context to interpret language, e.g., world knowledge, social norms. However, such contexts are often implicit because they are not directly expressed in human language and are not sufficiently leveraged in safety alignment, creating a fundamental mismatch between human language interpretation and safety alignment approaches. In this paper, we demonstrate that this mismatch exposes vulnerabilities in LLMs. We refer to this vulnerability as the pragmatic attack surface, which can be exploited to achieve high attack success rates. The experimental results demonstrate that our proposed approach outperforms baseline attack methods across various open-source and closed-source models by a substantial margin.
- Abstract(参考訳): 大規模言語モデル (LLM) の時代において、攻撃者は、しばしば自然言語を操作して、安全でない出力や有害な出力を誘導し、LLMベースのシステムに固有の新しい自然言語攻撃サーフェスを作成する。
しかし、そのような攻撃は、しばしば既存の安全アライメントアルゴリズムによって軽減される。
一方、ヒューマン・ランゲージは、本質的には実践学に根ざしており、言語、例えば世界知識、社会規範を解釈するために典型的な文脈を必要とする。
しかしながら、そのような文脈は人間の言語で直接表現されておらず、安全アライメントに十分に活用されていないため、人間の言語解釈と安全アライメントアプローチの根本的なミスマッチを生じるため、しばしば暗黙的である。
本稿では,このミスマッチがLSMの脆弱性を明らかにする。
我々はこの脆弱性を実用的攻撃面と呼び、高い攻撃成功率を達成するために利用することができる。
実験により,提案手法は,様々なオープンソースおよびクローズドソースモデルに対して,かなりのマージンでベースラインアタック手法より優れていることが示された。
関連論文リスト
- When Safety Speaks a Language: A Mechanistic Analysis of Safety-Language Identity Entanglement in LLMs [4.92475688183711]
安全関連機能は、どこに位置し、どのように層に分散するかという点で、アーキテクチャに依存します。
この安全言語の絡み合いは、安全性を損なうことが有害な反応速度だけでなく、標的言語にも影響を及ぼすという直接的な結果をもたらす。
本研究は,安全アライメントの言語多様性をアーキテクチャ依存とみなし,多言語的安全介入の機械的説明を提供する。
論文 参考訳(メタデータ) (2026-08-30T18:07:26Z) - Safety Targeted Embedding Exploit via Refinement [1.384477926572109]
本研究は、英語を主とする安全機構が多言語入力にまたがる一般化を想定できないことを示す。
STEERは、単語を低リソース言語に翻訳し、有害な意図を保ちながら拒絶を抑制する、勾配誘導攻撃である。
マルチリンガル安全性の向上にはアライメントとアウト・オブ・ディストリビューション・インプットを明示的に検出・棄却するメカニズムの広範な適用が必要であると論じる。
論文 参考訳(メタデータ) (2026-07-02T08:17:57Z) - LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety [88.98698230989186]
大規模言語モデル(LLM)は、しばしば高リソース言語で強力な安全性性能を示すが、低リソース言語では深刻な脆弱性を示す。
このギャップは、言語に依存しない意味理解能力と、高リソース言語に偏った言語に支配的な安全アライメントのミスマッチによるものと考えられる。
セマンティック・アライメント(LASA)を提案し,セマンティック・ボトルネックに直接安全アライメントを固定する。
論文 参考訳(メタデータ) (2026-04-13T15:59:50Z) - Precise Shield: Explaining and Aligning VLLM Safety via Neuron-Level Guidance [64.18179414483966]
実世界のデプロイメントでは、VLLM(Vision-Language Large Models)は、多言語およびマルチモーダル複合攻撃による重要な課題に直面している。
危険入力と良入力のアクティベーションパターンを対比することにより、まず安全ニューロンを識別する2段階のフレームワークであるPrecise Shieldを提案する。
この戦略は多言語および多モーダルの一般化を維持しながら安全性を大幅に向上させる。
論文 参考訳(メタデータ) (2026-04-10T02:42:52Z) - Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。
本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文 参考訳(メタデータ) (2026-04-07T08:43:36Z) - ROSE: Toward Reality-Oriented Safety Evaluation of Large Language Models [60.28667314609623]
大規模言語モデル(LLM)は、現実世界のアプリケーションにおいてブラックボックスコンポーネントとしてますます多くデプロイされている。
我々は,多目的強化学習を用いて敵のLDMを微調整する新しいフレームワークであるReal-Oriented Safety Evaluation (ROSE)を提案する。
論文 参考訳(メタデータ) (2025-06-17T10:55:17Z) - A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens [26.119521867045616]
モデルの語彙を特別な赤いフラグトークンで拡張することを提案する。
有害なコンテンツが生成または差し迫ったときに、このトークンを挿入するようにモデルをトレーニングします。
このアプローチは,既存の安全技術と補完するものだ。
論文 参考訳(メタデータ) (2025-02-22T21:48:48Z) - garak: A Framework for Security Probing Large Language Models [16.305837349514505]
garakは、ターゲットとするLarge Language Models(LLM)の脆弱性を発見し、特定するために使用できるフレームワークである。
フレームワークのアウトプットは、ターゲットモデルの弱点を記述し、ユニークなコンテキストで脆弱性を構成するものについての情報的な議論に寄与する。
論文 参考訳(メタデータ) (2024-06-16T18:18:43Z) - ALERT: A Comprehensive Benchmark for Assessing Large Language Models' Safety through Red Teaming [64.86326523181553]
ALERTは、新しいきめ細かいリスク分類に基づいて安全性を評価するための大規模なベンチマークである。
脆弱性を特定し、改善を通知し、言語モデルの全体的な安全性を高めることを目的としている。
論文 参考訳(メタデータ) (2024-04-06T15:01:47Z) - CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。
CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z) - Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。
我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。
本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
論文 参考訳(メタデータ) (2023-06-22T22:13:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。