論文の概要: Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents

• arxiv url: http://arxiv.org/abs/2609.27542v1
• Date: Wed, 23 Sep 2026 08:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.945908
• Title: Control-Token Injection Suppresses Chain-of-Thought and Defeats Reasoning-Based Oversight in Tool-Using Agents
• Title（参考訳）: ツール・ユースティング・エージェントにおけるコントロール・ツーケン・インジェクションによるチェーン・オブ・フォールドの抑制と推論に基づく監視
• Abstract要約: ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。 制御された完全精度の証拠は、そのモデルと、そのチャットテンプレートをレンダリングするソフトウェアの共同プロパティであることを示す。
• 参考スコア（独自算出の注目度）: 2.958094879300854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The safety of a tool-using language model agent is usually treated as a property of the model alone. We give controlled, full-precision evidence that it is instead a joint property of the model and the software that renders its chat template and parses its tool calls, the decoding harness, and that both halves are attackable from untrusted input. On the released gpt-oss-20b reasoning model under its published tool sandbox, appending a single string of the model's own channel-control tokens to a user message makes the tokenizer render a reasoning turn that is already complete, so the model writes no chain-of-thought and proceeds directly to the tool call. Across forty tasks the model already completes, the reasoning channel falls from a mean of 52.5 tokens to zero on every trial while the http.post still fires on every trial. A rule monitor and a cross-family language-model monitor detect the unsafe request on all plain trials and no forged trials, and on overtly malicious requests the attack converts 39.6% of the model's refusals into completed exfiltrations. Separately, whether an identical tool-call generation fires is decided by the harness parser, not the model: a truncation-tolerant regular expression fires a call whose closing token is missing while a strict one drops it, and two parsers shipped for the Gemma agent give opposite outcomes on identical greedy generations, firing on all twenty-four trials and on none. We show the suppression can be delivered indirectly and characterize its dependence on the chat template across two more reasoning models, and we evaluate input sanitization, parser hardening, and empty-reasoning detection as defenses; flagging an absent trace catches the basic attack but not an adaptive benign decoy. All measurements use greedy decoding on publicly released models. Code and per-trial logs: https://github.com/Usama1002/deleting-the-trace
• Abstract（参考訳）: ツールを使用する言語モデルエージェントの安全性は通常、モデルのみの特性として扱われる。 我々は、そのモデルと、そのチャットテンプレートをレンダリングし、そのツールコールを解析するソフトウェアの共同プロパティであり、デコードハーネスであり、両方のハーフが信頼できない入力から攻撃可能であるという、制御された完全な証拠を与える。 公開されたツールサンドボックスの下でリリースされたgpt-oss-20b推論モデルでは、モデル独自のチャネル制御トークンの1つの文字列をユーザメッセージに追加することで、トークン発行者がすでに完了している推論ターンをレンダリングする。 モデルがすでに完了している40のタスク全体で、推論チャネルはトライアル毎に平均52.5トークンからゼロに落ちますが、http.postはトライアル毎に起動します。 ルールモニタとクロスファミリー言語モデルモニターは、すべての平易なトライアルと偽装されたトライアルの不正な要求を検出し、過度に悪意のあるリクエストでは、モデルの拒絶の39.6%を完全なエクスプロイトに変換する。 第2に、同一のツールコール生成火災がハーネスパーサによって決定されるかどうかがモデルではなく、ハーネスパーサによって決定されるかが決定される: トランケーション耐性の正規表現は、厳格なトークンが欠落しているコールを発射し、厳密な表現はそれを投下し、Gemmaエージェントに出荷された2つのパーサは、同一のグリーディ世代に対して反対の結果を与え、24回のトライアル全てを発射し、何も実行しない。 提案手法は,2つの推論モデルにまたがるチャットテンプレートへの依存性を間接的に表現し,入力の衛生化,パーサ硬化,空調検出を防御として評価し,不在なトレースが基本攻撃をキャッチするが,適応的なベニグデコイではないことを示す。 すべての測定では、公開モデルでgreedyデコードを使用する。 Code and per-trial logs: https://github.com/Usama1002/deleting-the-trace

関連論文リスト

• Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
  LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。 ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。 モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
  論文  参考訳（メタデータ） (2026-08-28T16:34:05Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• A Watermark for Vision-Language-Action and World Action Models [14.245193036354186]
  視覚言語行動モデル (VLA) と世界行動モデル (WAM) は汎用ロボット制御を駆動する生成モデルである。 本稿では,ガウス雑音ベクトルのシードからポリシーをフィンガープリンティングするEmphkeyed latent-provenance法を提案する。 本手法は,2つのロボットスイートにまたがる2つの代表モデルに対して評価を行う。
  論文  参考訳（メタデータ） (2026-06-22T16:39:28Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
  我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。 ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。 本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
  論文  参考訳（メタデータ） (2026-03-22T21:50:28Z)
• interwhen: A Generalizable Framework for Verifiable Reasoning with Test-time Monitors [47.363850513075356]
  実験時間検証フレームワークであるInterwhenを提案し, 与えられた検証結果に対して, 推論モデルの出力が有効であることを保証する。 検証された推論は、物理的な世界にエージェントを配置するといった高度なシナリオにおいて重要な目標である。
  論文  参考訳（メタデータ） (2026-02-05T08:35:01Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• The 'Sure' Trap: Multi-Scale Poisoning Analysis of Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models [10.377264470934843]
  大きな言語モデルに対するバックドア攻撃は、通常、暗黙の悪意のある出力に秘密のトリガーを伴います。 我々はコンプライアンスのみのバックドアを導入し、ほぼ良質なデータセットで教師付き微調整を行い、プロンプトの小さなサブセットを任意の単一ワードトリガでサフィックスする。 本研究は, 毒性予算, 総微調整データセットサイズ, モデルサイズにまたがる, この良性ラベル中毒行動のマルチスケール解析を行った。
  論文  参考訳（メタデータ） (2025-11-16T02:01:58Z)
• Adversarial Manipulation of Reasoning Models using Internal Representations [1.308812559547533]
  推論モデルは最終的な出力の前にチェーン・オブ・ソート(CoT)トークンを生成する。 モデルが拒否するか否かを予測するCoTトークン生成において,活性化空間における線形方向を同定する。 我々は、CoTトークンのアクティベーションのみに介入することで最終的な出力を制御することができ、この方向をプロンプトベースの攻撃に組み込むことで、成功率を向上させることを示す。
  論文  参考訳（メタデータ） (2025-07-03T20:51:32Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。