論文の概要: Understanding and Mitigating Role Spoofing in LLMs

• arxiv url: http://arxiv.org/abs/2610.40396v1
• Date: Thu, 29 Oct 2026 16:33:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.114319
• Title: Understanding and Mitigating Role Spoofing in LLMs
• Title（参考訳）: LLMにおける役割スポーフィングの理解と緩和
• Abstract要約: LLMはロールの混乱を示すことができ、モデルがラベル付きロールではなく、そのスタイルに基づいてテキストのソースを属性する。 LLMは偽構造とコンテンツの両方を組み合わせたスプーフィング攻撃に対して非常に感受性が高いことを示す。 本稿では,会話中の役割を予測するために訓練された線形プローブを用いて,ロールスプーフィングを検出する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 28.505611052120788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite growing capabilities, LLMs remain susceptible to prompt injections: malicious inputs that can manipulate or hijack models. In particular, it has recently been observed that LLMs can exhibit role confusion (Ye et al., 2026), where models attribute the source of text based on its style instead of its labeled role. Malicious text in tool outputs (for instance, a malicious webpage accessed by an agent) can leverage role confusion to impersonate the user, an attack we call role spoofing}. In this work, we seek to understand and mitigate role spoofing. We study how models track "who said what" in a conversation, showing that they use cues from both content (e.g., semantics and writing style) and structure (e.g., control tokens and formatting). We show that LLMs are highly susceptible to role spoofing attacks that combine both fake structure and content. Additionally, in a toy setting, we show that adversarial training which teaches the model to ignore content-based injections does mitigate content-based attacks but leaves the model susceptible to structure-based attacks. This can explain why frontier models, with increased resistance to many injection attacks, can still be susceptible to role spoofing. Finally, we propose a new method for detecting role spoofing using linear probes trained to predict roles in a conversation, and show that it is effective across different settings.
• Abstract（参考訳）: 能力の増大にもかかわらず、LSMはインジェクションのプロンプト(モデルを操作したりハイジャックしたりできる悪意のあるインプット)の影響を受けやすいままである。 特に近年、LLMは役割の混乱(Ye et al , 2026)を生じさせることが観察されており、そこではモデルがラベル付きの役割ではなく、そのスタイルに基づいてテキストのソースを属性としている。 ツール出力における悪意のあるテキスト(例えばエージェントによってアクセスされた悪意のあるWebページ)は、ロール混乱を利用してユーザを偽装する。 本研究では,役割スプーフィングの理解と緩和を図る。 モデルがどのようにして会話の中で「何を言ったのか」をトラックし、コンテンツ(例えば、意味論と書き方)と構造(例えば、トークンとフォーマット)の両方からキューを使用するかを示す。 LLMは偽構造とコンテンツの両方を組み合わせたスプーフィング攻撃に対して非常に感受性が高いことを示す。 さらに、玩具の環境では、コンテンツベースインジェクションを無視するようにモデルに教える逆行訓練は、コンテンツベースアタックを緩和するが、構造ベースアタックの影響を受けやすいモデルを残していることを示す。 これは、多くのインジェクションアタックに対する抵抗が増大するフロンティアモデルが、ロールスプーフィングの影響を受けやすい理由を説明することができる。 最後に,会話中の役割を予測するために訓練された線形プローブを用いてロールスプーフィングを検出する手法を提案する。

関連論文リスト

• Render Before Reading: Visual Rendering as a Prompt Injection Defense [34.63256348303783]
  大規模な言語モデルはインジェクション攻撃に弱い。 敵データの入力モダリティが果たす役割について検討する。 攻撃の成功率を一定に抑えることを示します。
  論文  参考訳（メタデータ） (2026-09-28T18:54:50Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them) [15.48684126686974]
  微調整された大言語モデルは、しばしば役割識別のために2つのプロキシに依存することを示す。 モデル入力エンコーディングにおけるトークンワイドキューを調整し,役割境界をマークするエンフィン変分信号の強化を提案する。
  論文  参考訳（メタデータ） (2025-05-01T16:06:16Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。