論文の概要: Perturbation, Not Provenance: Why Activation Steering Does Not Make a Robust Text Watermark

• arxiv url: http://arxiv.org/abs/2610.17810v1
• Date: Tue, 13 Oct 2026 06:36:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:06:39.195695
• Title: Perturbation, Not Provenance: Why Activation Steering Does Not Make a Robust Text Watermark
• Title（参考訳）: なぜアクティベーションステアリングがロバストなテキスト透かしを作らないのか
• Abstract要約: そこで本研究では,アクティベーションステアリングの透かしが標準的なロジットベース透かしよりも検出精度が高いことを示す。 この場合、セマンティックアクティベーションは、局所的で回復可能なセマンティックマークを符号化するのではなく、グローバルでコンテンツに依存しないシフトを符号化する。
• 参考スコア（独自算出の注目度）: 2.1549142542293658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear directions in the activation space of large language models causally and universally influence model behavior. This suggests that they might serve as a basis for a robust text watermark. The idea is to steer the generation along a specific semantic direction and then recover the mark by probing the activations of the re-encoded text. We test this hypothesis by conducting a series of experiments. We vary the strength of the steering and use four different directions (formality, sentiment, complexity, and a random control) across two different model families. We also test two paraphrasing attacks: a sentence-level one and a stronger paragraph-level one. The results show that activation-steering watermarks are outperformed by a standard logit-based watermark (KGW) in terms of detection accuracy. At a matched level of fluency (within 1.15 times the original text's perplexity), KGW achieved an AUC of 0.81 against a sentence-level paraphraser, while the best steering direction only reached 0.65. A stronger paragraph-level paraphraser lowered both (0.65 for KGW and 0.59 for steering), narrowing the gap but not reversing it. On Qwen, it left the two indistinguishable but at near-chance levels for both. We further showed that the detectability provided by steering was not semantic: a random direction was just as detectable as a meaningful one. The signal was independent of which layer was probed and whether a surface feature control was used. We conclude that, in this case, semantic activation does not encode a localized, recoverable semantic mark, but rather a global, content-independent shift that can only be strongly detected when the text is degraded.
• Abstract（参考訳）: 大規模言語モデルの活性化空間における線形方向は、因果的かつ普遍的にモデル行動に影響を与える。 これは、堅牢なテキスト透かしの基礎として機能する可能性があることを示唆している。 このアイデアは、特定の意味方向に沿って生成を操縦し、再符号化されたテキストのアクティベーションを探索することでマークを回復する。 この仮説を一連の実験によって検証する。 操舵の強さは様々であり、2つの異なるモデルファミリーで4つの方向(形式性、感情、複雑さ、ランダムな制御)を使用する。 また,文レベル1と段落レベル1の2つのパラフレーズ攻撃についても検討した。 その結果,アクティベーションステアリングによる透かしは,検出精度の点で標準ロジットベース透かし(KGW)よりも優れていた。 一致した流布度(原文の1.15倍の難易度)では、KGWは文レベルのパラフレーズに対してAUC0.81を達成し、最高の操舵方向は0.65に達した。 より強力な段落式パラフリーザーは両者を下げた(KGWは0.65、ステアリングは0.59)。 Qwenでは、2つの区別がつかないが、どちらもほぼ同じレベルに留まった。 さらに、ステアリングによって得られる検出性は意味的ではなく、ランダムな方向は意味のある方向と同じくらい検出可能であることを示した。 信号は、どの層がプローブされたか、表面の特徴制御が使用されたかから独立していた。 この場合、セマンティックアクティベーションは、局所的で回復可能なセマンティックマークを符号化するのではなく、テキストが劣化したときにのみ強く検出できる、グローバルでコンテンツに依存しないシフトである、と結論付けている。

関連論文リスト

• SemField: A Simple, Linear, Continuous, yet Robust Semantic Watermark [38.58009792931064]
  SemFieldはトレーニング不要なセマンティックな透かしで、線形信号を文埋め込み空間に直接埋め込む。 また、初期文から最適方向を決定する極性ロック付き変種SemField-PLを提案する。 どちらの変種も、1%の偽陽性率(FPR)で88.2%から90.4%の平均真陽性率(TPR)を達成する。
  論文  参考訳（メタデータ） (2026-10-08T12:35:11Z)
• Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models [75.34700827901757]
  一般的にテストされるが、最も高い確率の層がステアリングに最適な層である、という仮定は稀である。 独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定する。 感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。
  論文  参考訳（メタデータ） (2026-08-24T11:38:22Z)
• Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks [68.64050157343334]
  既存の透かしは編集の際は残されているが、このような堅牢性は、敵が帰属を維持しながら重要な内容を変更することを可能にする。 実証と改ざんの証拠を共同で提供する革新的な透かしを導入する。 信号は同じメカニズムを共有するが、独立キーと正規化テキスト上の異なるシードウィンドウを使用するため、一方は編集に耐性があり、もう一方は読み取り可能な変更に敏感である。
  論文  参考訳（メタデータ） (2026-08-13T01:55:16Z)
• Internal-State Probes Read the Situation, Not the Action: Three Negative Results for Pre-Action Misalignment Monitoring [1.3636639880574484]
  内部の読み出しは、それらのアクションが生成される前に有害なテキストやツールアクションを特定する場合、エージェントシステムを監視するのに役立つ。 Qwen2.5-Coder-32B-Instruct fine-tune/base direction, Llama-3.1-8B-Instruct probes at the last token of unsafe prefills, Gemma-3-27B-IT emotion-concept vectors for projection and steering。
  論文  参考訳（メタデータ） (2026-06-29T15:18:36Z)
• Perfect Detection, Failed Control: The Geometry of Knowing vs. Steering in Language Models [1.9247157750972368]
  私たちは、最も行動を検出する方向と、それを引き起こす方向の角度をテストします。 検出が制御を意味する場合、コサインは1付近であり、そうでなければ検出ギャップを定量化する。 コサインは、知識とステアリングの解離の重み付け可能な記号であり、その予測子ではない。
  論文  参考訳（メタデータ） (2026-06-23T08:07:51Z)
• SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness [71.08096624551246]
  段落レベルのパラフレーズに対するロバスト性は、このような攻撃が文順を変化させることで、世界規模で透かし信号を破壊するため、依然として困難である。 本稿では,意味空間内にステップ非依存のグリーン領域を確立することで文順依存を除去する自己認識型透かしフレームワークSAMarkを提案する。 実験の結果、SAMarkは通常の段落レベルのパラフレーズ攻撃で最大90.2%のTP@FP1%を達成することがわかった。
  論文  参考訳（メタデータ） (2026-05-25T12:46:15Z)
• Reliable Control-Point Selection for Steering Reasoning in Large Language Models [28.288321095634128]
  ステアリングベクトルは、大規模言語モデルにおける推論動作を制御するためのトレーニング不要のメカニズムを提供する。 しかし、有効なベクトルを構成するには、モデルが隠した状態にある真の行動信号を特定する必要がある。 提案手法は,全ての検出された境界が真の行動信号を符号化していることを暗黙的に仮定して,チェーンオブソートトレースのキーワードマッチングによってこれらの挙動を検出する。 本研究では,コンテキスト依存的なトリガ確率を持つ事象として固有の推論動作を形式化する確率モデルを構築し,不安定な境界が操舵信号を弱めることを示す。
  論文  参考訳（メタデータ） (2026-04-02T14:48:56Z)
• SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
  既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。 局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。 実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-06T03:33:42Z)
• Watermarking Text Generated by Black-Box Language Models [103.52541557216766]
  テキスト生成中に透かしを埋め込むことのできるホワイトボックスLCMに対して,透かしに基づく手法が提案されている。 リストを認識した検出アルゴリズムは、透かし付きテキストを識別することができる。 我々はブラックボックス言語モデル利用シナリオのための透かしフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-14T07:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。