論文の概要: Separating Prompt Harmfulness from Interaction Safety via Partial Generation

• arxiv url: http://arxiv.org/abs/2610.16761v1
• Date: Mon, 12 Oct 2026 13:23:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.376424
• Title: Separating Prompt Harmfulness from Interaction Safety via Partial Generation
• Title（参考訳）: 部分生成による相互作用安全からのプロンプト有害性の分離
• Abstract要約: 入力プロンプトとのモデル相互作用の安全性は部分出力のみで早期に推測可能であることを示す。 我々は、Llama、Gemma、Qwenの3つのファミリーから7つのオープンウェイトLLMを持つ41,944組のプロンプト応答ペアのデータセットを構築した。
• 参考スコア（独自算出の注目度）: 1.8899300124593648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based information systems need safety guardrails. Most guardrails classify the prompt alone. If the prompt looks harmful, the system rejects it before any answer is generated. This is costly. Many rejected prompts would have received a safe response. Users lose help they should have received from the information system. This cost grows as conversational and generative search becomes common. Prompt-level labels treat harm as a property of the query. But harm depends on what the model actually writes. Existing input-output guards do look at responses. But they judge a finished response, so the decision comes after full generation. However, we observe that safety of model interaction with the input prompt can be inferred early with only partial output. So the system can start generating, watch the partial response, and stop only if it turns harmful. We test this idea in three steps. First, we build a dataset of 41,944 prompt-response pairs with seven open weights LLMs from three families: Llama, Gemma, and Qwen. Second, we show that prompt harmfulness and interaction safety differ. Prompt labels and response labels agree on only 50.46\% of items (Cohen's $κ$ = 0.06). Of the prompts that make any model respond harmfully, only 3.5\% do so for all seven LLMs. Third, we show that partial responses carry most of the signal. Fine-tuned classifiers predict response-level harm well (best AUPRC 0.885, F1 0.807). About one third of the response tokens recover almost full-response AUPRC.
• Abstract（参考訳）: LLMベースの情報システムは安全ガードレールを必要とする。 ほとんどのガードレールはプロンプトのみを分類する。 もしプロンプトが有害に見えたら、システムは答えが生成される前にそれを拒否する。 これは費用がかかる。 多くの拒否されたプロンプトは安全な応答を受けただろう。 ユーザーは、情報システムから受け取るべき助けを失う。 このコストは、会話的および生成的検索が一般的になるにつれて増大する。 プロンプトレベルのラベルは、ハーネスをクエリのプロパティとして扱う。 しかし、害はモデルが実際に何を書いているかによって異なります。 既存の入出力ガードは応答を見る。 しかし、彼らは完成した反応を判断するので、決定は完全な世代が終わった後に下される。 しかし、入力プロンプトとのモデル相互作用の安全性は、部分出力のみで早期に推測できることが観察された。 そのため、システムが生成し、部分的な応答を確認し、有害になった場合にのみ停止することが可能になる。 私たちはこのアイデアを3つのステップでテストします。 まず、Llama、Gemma、Qwenの3つのファミリーから、7つのオープンウェイトLLMを持つ41,944組のプロンプト応答ペアのデータセットを構築します。 第2に、迅速な有害性と相互作用安全性が異なることを示す。 プロンプトラベルとレスポンスラベルは50.46 %の項目で一致している(コーエンの$κ$ = 0.06)。 あらゆるモデルが有害に反応するプロンプトのうち、7つのLSMすべてに対して3.5 %しか反応しない。 第3に、部分応答がほとんどの信号を運ぶことを示す。 微調整された分類器は応答レベルの損傷をよく予測する(AUPRC 0.885, F1 0.807)。 応答トークンの約3分の1は、ほぼ完全なAUPRCを回復する。

関連論文リスト

• The Model Plants the Trigger: Answer-Side Backdoor Attacks in Multi-Turn Large Language Models [75.85661275647158]
  マルチターン対話のための新しい応答側バックドアを提案する。 相手は良心的な第1ターンプロンプトを使用してモデルを誘導し、特定の、一見無害な単語を生成する。 後に有害なクエリが到着すると、モデルは自身のトリガーを検出し、安全性の拒絶を回避します。
  論文  参考訳（メタデータ） (2026-10-06T04:17:18Z)
• An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs [0.5729426778193398]
  セルフフィーディング(Self-feeding)は、モデル自身の出力を次の入力として返送するブラックボックステスト手法である。 自給自足は6つのモデルのうち5つのバックドアを92.0%の精度で検出する。 数回の起動プロンプトを使用すると、モデルレベルでさらに高い検出が可能となる理由が示されます。
  論文  参考訳（メタデータ） (2026-08-11T18:53:49Z)
• Injecting Falsehoods: Adversarial Man-in-the-Middle Attacks Undermining Factual Recall in LLMs [20.83956587986665]
  本稿では,Xmeraを介するインジェクション下でのファクトメモリに対する第一原理的攻撃評価を提案する。 自明な命令に基づく攻撃は、最高成功率(最大85.3%)を報告し、同時に不正に答えた質問に対して高い不確実性を持つ。 我々は、攻撃されたクエリと攻撃されていないクエリを区別するために、応答不確実性レベルに基づいてランダムフォレスト分類器を訓練する。
  論文  参考訳（メタデータ） (2025-11-08T08:30:19Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Promote, Suppress, Iterate: How Language Models Answer One-to-Many Factual Queries [24.906758097101143]
  1対多の事実クエリに答えるためには、言語モデル(LM)が同時に知識をリコールし、以前の回答を繰り返すことを避ける必要がある。 複数のデータセット、モデル、プロンプトテンプレートにまたがって、プロモート・then-suppressメカニズムを同定する。 我々は、LMの内部コンポーネントが、複雑な事実リコールをサポートするために異なる入力トークンとどのように相互作用するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-27T19:23:15Z)
• Jailbreaker in Jail: Moving Target Defense for Large Language Models [4.426665953648274]
  大規模言語モデル(LLM)は敵攻撃に対して脆弱である。 LLMは非倫理的な答えを提示することで「無害」に失敗するか、意味のある答えを拒むことで「有害」に失敗する。 有効性と無害性を両立させるため,移動目標防御(MTD)強化LLMシステムを設計した。
  論文  参考訳（メタデータ） (2023-10-03T20:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。