論文の概要: Overflip: Repetition-Induced Label Flips in Guardrail Models

• arxiv url: http://arxiv.org/abs/2609.15013v1
• Date: Mon, 14 Sep 2026 04:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.069623
• Title: Overflip: Repetition-Induced Label Flips in Guardrail Models
• Title（参考訳）: オーバーフリップ:ガードレールモデルで繰り返し発生するラベルフリップ
• Abstract要約: 繰り返し引き起こされる不安定性であるOverflipは、プロンプトを繰り返すことによってガードレールの予測が反転する。 弱いモデルの中で、フリップレートは8%から92%で、最初のフリップは2.6k--9.4kトークンで起こる。 オーバーフリップは従来の注意希釈法よりもLLMサービスにとって大きな脅威となる。
• 参考スコア（独自算出の注目度）: 15.218890533636907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Guardrail models are classifiers deployed to screen malicious prompts and responses in LLM-based services. To meet latency constraints, many lightweight guardrails adopt compact Transformer backbones (e.g., DeBERTa) that are trained with short context windows (typically 512 tokens) and rely on bucketed relative positional encodings to process longer inputs. Prior evaluations assume that a guardrail's decision is stable as the input is lengthened. We show that this assumption can fail. We identify Overflip, a repetition-induced instability where repeating a prompt causes the guardrail's prediction to flip (MAL$\to$BEN) as the sequence grows. We conduct experiments on 9 widely used lightweight guardrail models. Five exhibit MAL$\to$BEN flips on a benchmark of 100 prompts, with confidence margins shrinking steadily with repetition. Among these vulnerable models, flip rates range from 8% to 92%, with first flips occurring at roughly 2.6k--9.4k tokens. Our analysis suggests Overflip differs from traditional attention-dilution baselines, which aim to divert the model's attention away from tokens associated with malicious content, shifting it instead toward unrelated content, such as benign padding or shuffling. While Overflip preserves malicious content, it homogenizes token-level attention over repeated structure and induces a distinct, more gradual attention-dispersion trajectory than padding. Moreover, Overflip poses a greater threat to LLM services than traditional attention dilution methods. Because the bypassed prompt remains semantically intact and is still readily understood by downstream business LLMs, it can transmit malicious intent after passing the guardrail. These findings expose repetition as an attack surface for guardrail models and motivate length-robust evaluation and mitigation.
• Abstract（参考訳）: Guardrailモデルは、LLMベースのサービスで悪意のあるプロンプトとレスポンスを表示するためにデプロイされる分類器である。 レイテンシの制約を満たすために、多くの軽量ガードレールは、短いコンテキストウィンドウ(典型的には512トークン)でトレーニングされたTransformerのバックボーン(例:DeBERTa)を採用し、より長い入力を処理するためにバケット化された相対的な位置エンコーディングに依存している。 事前評価では、入力が延長されるにつれてガードレールの決定が安定であると仮定される。 この仮定は失敗する可能性がある。 繰り返し引き起こされる不安定性であるOverflipを同定し、シークエンスの増加に伴ってガードレールの予測が反転する(MAL$\to$BEN)。 9種類の軽量ガードレールモデルについて実験を行った。 5件のMAL$\to$BENは100プロンプトのベンチマークで反落し、信頼率の低下は繰り返し続いている。 これらの脆弱なモデルの中で、フリップレートは8%から92%の範囲で、最初のフリップは2.6k--9.4kトークンで発生している。 分析の結果,Overflipは,悪質なコンテンツに関連するトークンから,良質なパディングやシャッフルなど無関係なコンテンツへとモデルが注意を逸脱することを目的とした従来の注意希釈ベースラインとは異なることが示唆された。 Overflipは悪意のあるコンテンツを保存する一方で、繰り返しの構造に対してトークンレベルの注意を均質化し、パディングよりも明確な、より徐々に注意を分散させる軌道を誘導する。 さらに、Overflipは従来の注意希釈法よりもLLMサービスに対する脅威が大きい。 バイパスされたプロンプトはセマンティックなままであり、下流ビジネスのLLMでも容易に理解できるため、ガードレールを通過した後も悪意のある意図を伝達することができる。 これらの結果から,ガードレールモデルに対する攻撃面として繰り返しの繰り返しが明らかとなり,長尺ロバスト評価と緩和の動機となった。

関連論文リスト

• Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
  我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。 密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-06-20T07:03:26Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• SBFA: Single Sneaky Bit Flip Attack to Break Large Language Models [16.379863498328955]
  Bit-Flip攻撃はディープニューラルネットワーク(DNN)を著しく損なう SBFA(Sneaky Bit-Flip Attack)を提案する。 パラメータ感度の基準であるImpactScoreを用いて、反復的な検索とランキングによって達成される。
  論文  参考訳（メタデータ） (2025-09-26T04:03:53Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• Judge Decoding: Faster Speculative Sampling Requires Going Beyond Model Alignment [25.988070517700848]
  自己回帰生成を高速化する手法として投機的復号法が提案されている。 GPT-4oのような強力なドラフトモデルであっても、人間のテキストは高い受け入れ率を達成できないことを示す。 私たちは、正しいが一致しない応答を認識するために、検証に適応できるだろうか?
  論文  参考訳（メタデータ） (2025-01-31T17:09:53Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。