論文の概要: JevBreak: Your Model, Their Decision
- arxiv url: http://arxiv.org/abs/2611.03759v1
- Date: Mon, 02 Nov 2026 13:05:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 11:10:48.196361
- Title: JevBreak: Your Model, Their Decision
- Title(参考訳): JevBreak: あなたのモデルとその決定
- Abstract要約: ホストAPI,オープンウェイトモデル,エンコーダを対象とする7つの決定モデルの評価を行った。
Slot Attackは、名前付きコンポーネントから組み立てられたテキストをアタッカーが選択した誤ったオプションに向けて予測するために追加する決定モデル用に設計されたブラックボックスアタックである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Restricting what a model can say is often mistaken for restricting an attacker's influence over its decision. An attacker can add text to the evidence and steer the model toward a wrong answer that still belongs to the allowed set. We evaluate seven decision models spanning hosted APIs, open-weight models and an encoder on 16 tasks in seven domains from Decision Bench, targeting every wrong option across 240 text examples (990 targets per model). We present Slot Attack, a black-box attack designed for decision models that appends text assembled from named components to steer predictions toward an attacker-selected incorrect option. The method relies solely on returned label probabilities, achieves success rates of 32--99\% on initially correct decisions, and identifies the effective component combinations with a median of 17--72 queries per successful attack. Accuracy and confidence do not reliably reveal this vulnerability. Models with near-identical accuracy on the sampled tasks differ by about 20\%age points in attack success. We demonstrate that an attacker can force not just one wrong answer but every available one: on about 20\% of correct decisions for the JEV models, 77\% for gpt-6-luna and 98\% for GLiNER2.5; a confidence threshold does not reliably screen the attack out. A fixed answer set constrains a decision's form, not its source; robustness must be measured per model, per task and per version rather than assumed from output format.
- Abstract(参考訳): モデルが何と言おうと制限することは、しばしば、その決定に対する攻撃者の影響力を制限することで誤解される。
攻撃者は、エビデンスにテキストを追加して、許可されたセットに属する間違った回答に向けてモデルを操ることができます。
ホストAPI、オープンウェイトモデル、およびDecision Benchの7つのドメインで16のタスクを対象とするエンコーダを対象とする7つの決定モデルを評価した。
Slot Attackは、名前付きコンポーネントから組み立てられたテキストをアタッカーが選択した誤ったオプションに向けて予測するために追加する決定モデル用に設計されたブラックボックスアタックである。
この手法はラベルの返却確率にのみ依存し、初期正しい判断で32--99\%の成功率を達成し、攻撃成功時の中央値17--72クエリと有効成分の組み合わせを特定する。
正確さと自信は、この脆弱性を確実に明らかにしない。
サンプリングされたタスクに対するほぼ同一の精度のモデルでは、攻撃の成功率が約20 %の点で異なる。
JEVモデルの正しい判断の約20倍、gpt-6-lunaは77倍、GLiNER2.5は98倍、信頼しきい値が確実に攻撃を遮蔽しない。
固定された回答セットは、ソースではなく決定の形式を制約する; 出力形式から仮定するのではなく、モデルごとに、タスクごとに、バージョンごとに、堅牢性を測定する必要がある。
関連論文リスト
- EDU-Jev Training System-One Decision Models for Education [15.584574870107337]
本稿では, 0.8B, 2B, 4Bパラメータの単一パス(システムワン)決定モデルについて述べる。
ポインタヘッドは各オプションのマーカーを取得し、予測が許容される選択に制限されることを保証する。
12の教育ベンチマークで、EDU-Jev 4Bの平均精度は67.6%である。
論文 参考訳(メタデータ) (2026-10-29T23:48:27Z) - FlipJev: Fast Black-Box Red Teaming Finds Universal Adversarial Suffixes for Typed Decision Models [49.01160161589609]
型付き決定モデルは、自由テキスト応答を生成する代わりに決定を行う言語モデルの新たなクラスである。
私たちは、異なるデータタイプとアプリケーションシナリオを持つ12のデータセットで実験を行います。
あるタスクから生成された1つの接尾辞は、他のタスクで90-100%のサンプルを反転させることができる。
論文 参考訳(メタデータ) (2026-10-28T20:53:38Z) - DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision [23.552255820254157]
DecisionRobustは、テキスト入力と視覚入力の間で決定モデルの堅牢性を評価するためのベンチマークである。
テキストタスクでは30のモデル構成が,視覚タスクでは17のモデル構成が評価され,24と12のモデルが候補選択から除外されている。
攻撃は、構築と選択に使用されるモデル以外の脆弱性を露呈するが、最適化された画像摂動は、複数のサロゲートであっても、多くのターゲットに弱く伝達される。
論文 参考訳(メタデータ) (2026-10-13T19:52:14Z) - One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails [8.534825157831387]
型付き決定モデルはテキストを読み出し、呼び出し元定義のオプションよりも確率を返します。
最近の作業では、これらのモデルをエージェントシステムにガードレールとして配置している。
その役割において、7つのオープンウェイトモデルを評価し、2つのエラー方向を別々に報告する。
論文 参考訳(メタデータ) (2026-10-08T16:46:43Z) - Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。
タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。
その結果、自動決定ゲートの条件依存ルールが得られる。
論文 参考訳(メタデータ) (2026-09-29T19:57:59Z) - JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。
ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。
Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
論文 参考訳(メタデータ) (2026-09-25T11:32:19Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳(メタデータ) (2024-07-15T23:41:11Z) - Data-Free Hard-Label Robustness Stealing Attack [67.41281050467889]
本稿では,Data-Free Hard-Label Robustness Stealing(DFHL-RS)攻撃について紹介する。
ターゲットモデルのハードラベルをクエリするだけで、モデル精度とロバスト性の両方を盗むことができる。
本手法は,AutoAttackに対して77.86%,頑健な39.51%の精度を実現する。
論文 参考訳(メタデータ) (2023-12-10T16:14:02Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。