論文の概要: One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails

• arxiv url: http://arxiv.org/abs/2610.12292v1
• Date: Thu, 08 Oct 2026 16:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.19114
• Title: One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
• Title（参考訳）: One Words Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
• Abstract要約: 型付き決定モデルはテキストを読み出し、呼び出し元定義のオプションよりも確率を返します。 最近の作業では、これらのモデルをエージェントシステムにガードレールとして配置している。 その役割において、7つのオープンウェイトモデルを評価し、2つのエラー方向を別々に報告する。
• 参考スコア（独自算出の注目度）: 8.534825157831387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A typed decision model reads a piece of text and returns a probability over caller-defined options, each with a short written definition, generating no text. Recent work places these models in agent systems as guardrails: the component that reads a proposed tool call or incoming message and decides whether to allow it. We evaluate seven open-weight models in that role and report the two error directions separately: a fail-open error allows a prohibited action and is a vulnerability; a fail-closed error blocks a permitted one and is only a cost. On prompt-injection, jailbreak and toxic-content screening, accuracy at the allow-or-block decision ranges from 36% to 72% against a chance level of 50%. A low error rate in one direction only reflects which answer a model defaults to: one allows nearly everything, another blocks nearly everything. On a synthetic suite of agent tool calls, six lines of server log text that say nothing about the policy raise a gate's fail-open rate from 0% to 63% on a policy it otherwise decides correctly. Giving the permissive option a misleading name, with its definition and the judged text untouched, raises that rate to between 93% and 100% on the four models that place the label in their input. Every defense we tested is defeated, either by an attacker who targets its mechanism or by attacker-controlled text. Escalating the least confident decisions does not help either: a decision an attack has reversed is no less confident than the one it replaced. Parsing each policy field into a typed value does eliminate one attack, but it also makes the model unnecessary: a deterministic rule over those values reaches 100% accuracy on all six policies. These models can reduce how many cases reach a reviewer, but on this evidence they should not be the component that decides. Code is available at https://github.com/ArminAzizi98/option-channel-attack.
• Abstract（参考訳）: 型付き決定モデルはテキストを読み出し、呼び出し元定義のオプションよりも確率を返します。 最近の作業では、これらのモデルをエージェントシステムにガードレールとして配置している。 我々は、その役割における7つのオープンウェイトモデルを評価し、2つのエラー方向を別々に報告する: フェールオープンエラーは、禁止されたアクションを許容し、脆弱性である; フェールクロースされたエラーは、許容されたモデルをブロックし、コストのみを発生させる。 プロンプトインジェクション、ジェイルブレイク、毒性物質スクリーニングでは、許容またはブロック判定の精度は、50%の確率レベルに対して36%から72%である。 1つの方向の低いエラー率は、モデルがデフォルトとする応答のみを反映する: 1つは、ほぼ全てを許容し、もう1つは、ほぼ全てをブロックする。 エージェントツールコールの合成スイートでは、ポリシーについて何も言わない6行のサーバーログテキストがゲートのフェールオープン率を0%から63%に上げる。 パーミッションオプションに誤解を招く名前を与えると、その定義と判断されたテキストは、ラベルを入力に配置する4つのモデルで93%から100%に上昇する。 テストしたすべての防御は、そのメカニズムをターゲットとする攻撃者か、あるいは攻撃者が制御するテキストによって破壊されます。 攻撃が逆転した決定は、置き換えた決定よりも確実である。 それぞれのポリシフィールドを型付き値にパースすることは、1つの攻撃を排除しますが、モデルも不要になります。 これらのモデルは、レビュアーに到達するケースの数を減らすことができるが、この証拠では、決定するコンポーネントであってはならない。 コードはhttps://github.com/ArminAzizi98/option-channel- attackで入手できる。

関連論文リスト

• Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities [2.332848751256598]
  デプロイされたエージェントは、ツールコール、クエリ、およびサイレントに間違っている可能性のあるコードを出力する。 低コストのオープンウェイトサロゲートを並列に動作させることにより,損失信号の回収を行う。 エージェントと同じコンテキスト、スキーマ、提案されたアクションを読み取って、自身のログ確率からコールをスコアする。
  論文  参考訳（メタデータ） (2026-10-02T18:09:00Z)
• Labels Override Definitions in Jev-Style Typed Decision Models [8.534825157831387]
  型付き決定モデルは、複数の呼び出し者定義オプションのそれぞれに対して確率を返すことで、固定された質問に答える。 オープン実装について検討し、その重みを検査・パッチし、その確率が定義やラベルに従うかどうかを問う。
  論文  参考訳（メタデータ） (2026-10-01T23:32:30Z)
• AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation [35.18016233072556]
  AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。 AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。 RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
  論文  参考訳（メタデータ） (2026-10-01T07:24:04Z)
• Safety Reconstructed: Generative Modeling via Masked Diffusion Builds Strong Safety Guardrails [40.082729607289686]
  ガードモデルは、会話のコンテキストから単一の検証トークンを予測することを学び、単一のターゲットに対する監視に集中する。 LLaDA-Guardを提案する。各ラベル仮説の下でのプロンプトや応答をスコアし,その差に基づいて分類する。 このアイデアをマスク付き拡散言語モデル、LLaDA-8B-インストラクタ、LoRAを用いたクラス条件再構築目標を用いてインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-27T14:54:20Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures [33.047894767530174]
  Jevは、校正された決定のために強化学習で訓練されたモデルである。 1回の呼び出しでキャリブレーションされた確率を持つ入力について、多くの型付き質問に答える。 薬局、脱獄、偽装、迅速な注射、幻覚、プライバシー侵害、社会的偏見、報酬のハッキング、不確実性の隠蔽、電力探究という10のアライメント障害について、Jevをベンチマークしている。
  論文  参考訳（メタデータ） (2026-09-24T11:49:30Z)
• Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks [52.041551928780244]
  バックドアの毒殺攻撃は、さもなければクリーンな微調整データに有毒な例を付加する。 これは最悪のケースの脆弱性を過小評価する可能性がある。 SAILS (Set-level Audit-Informed Iterative Learned Selection) を導入する。
  論文  参考訳（メタデータ） (2026-09-14T04:44:28Z)
• Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
  LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。 ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。 モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
  論文  参考訳（メタデータ） (2026-08-28T16:34:05Z)
• Activation Probes Surface Code-Security Signals that the Model's Output Misses [0.0]
  AIコーディングエージェントが生産コードのシェアを拡大する。 人間のセキュリティレビューは、コードが生成される度にスケールしない。 それらのアクティベーションを読むと、同じレビュアーに見逃すセキュリティシグナルが回復するかどうかを尋ねる。
  論文  参考訳（メタデータ） (2026-08-10T14:22:46Z)
• Defenses Against Prompt Attacks Learn Surface Heuristics [40.392588465939106]
  大規模言語モデル(LLM)は、セキュリティに敏感なアプリケーションにますますデプロイされている。 LLMは、ユーザクエリや検索されたコンテンツに逆命令が現れるとき、意図したロジックをオーバーライドすることができる。 最近の防衛は、良心と悪意のあるラベルによる監督された微調整に依存している。
  論文  参考訳（メタデータ） (2026-01-12T04:12:48Z)
• Language Model Unalignment: Parametric Red-Teaming to Expose Hidden Harms and Biases [32.2246459413988]
  Red-teamingは、モデルの安全行動をジェイルブレイクして、クエリの有害性を無視した有用なエージェントとして機能させることを目的としている。 我々は、安全研究、すなわち、Unalignmentを通してのレッドチームについて、新しい視点を提示する。 統一性はモデルパラメータを調整し、モデルの振舞いに深く根付いていないモデルガードレールを壊す。
  論文  参考訳（メタデータ） (2023-10-22T13:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。