論文の概要: Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications
- arxiv url: http://arxiv.org/abs/2610.18612v1
- Date: Tue, 13 Oct 2026 15:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.670447
- Title: Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications
- Title(参考訳): Nudge the Judge: 実世界のJevアプリケーションにおけるプログラム決定ハイジャックの発見
- Abstract要約: 我々は、Jev Program Decision Hijacking (JPDH) と呼んでいる。
本稿では,JevProbeを提案する。JevProbeは,JPDHを評価するためのフレームワークで,プログラムが消費する決定を通じて,到達可能なコンテキスト面から敵対的影響をトレースする。
我々のキーとなる洞察は、アプリケーションロジックが様々なJev判断を観測可能な決定にマッピングし、体系的なプログラムによる攻撃評価を可能にすることである。
- 参考スコア(独自算出の注目度): 28.344686452709496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: System One models such as Jev change how software makes decisions by mapping open-ended semantic contexts into structured judgments that directly drive program execution. However, this paradigm introduces a new security risk, which we term Jev Program Decision Hijacking (JPDH): attacker-controlled contexts can redirect program decisions through schema-valid Jev judgments. Existing evaluations focus primarily on model-level attacks or predefined injection channels, leaving attack reachability and downstream security consequences in real-world Jev applications underexplored. In this paper, we present JevProbe, the first automated framework to evaluate JPDH by tracing adversarial influence from reachable context surfaces through program-consumed decisions to downstream security consequences in real-world Jev applications. Our key insight is that application logic maps diverse Jev judgments to observable decisions, enabling systematic, program-grounded attack evaluation. Across 228 popular real-world Jev applications and 2,273 test cases, 81.5% exhibit decision flips, of which 98.6% lead to potential downstream security impacts. Compared with the strongest adapted baseline, JevProbe improves macro-average Decision Flip Rate (DFR) by 50.4 percentage points, while existing defenses offer limited protection. We further construct JevProbeBench to support systematic evaluation of JPDH in real-world Jev applications. We have responsibly disclosed our findings to Jev application maintainers, pending their responses. The source code of JevProbe and the JevProbeBench dataset are publicly available on GitHub (https://github.com/xiaoxiaohg8d/JevProbe-).
- Abstract(参考訳): Jevのようなシステム1モデルは、オープンエンドのセマンティックコンテキストをプログラム実行を直接駆動する構造化判断にマッピングすることで、ソフトウェアがどのように意思決定を行うかを変える。
しかし、このパラダイムでは、Jev Program Decision Hijacking (JPDH)と呼ばれる新しいセキュリティリスクが導入されている。
既存の評価は、主にモデルレベルのアタックや事前に定義されたインジェクションチャネルに焦点を当てており、実際のJevアプリケーションでは、アタックの到達性とダウンストリームのセキュリティ結果が過小評価されている。
本稿では,JevProbeを提案する。JevProbeは,現実のJevアプリケーションにおいて,プログラムが消費する決定から下流のセキュリティ結果への到達可能なコンテキスト面からの敵対的影響をトレースすることで,JPDHを評価するための最初の自動化フレームワークである。
我々のキーとなる洞察は、アプリケーションロジックが様々なJev判断を観測可能な決定にマッピングし、体系的なプログラムによる攻撃評価を可能にすることである。
228の人気のある現実世界のJevアプリケーション、2,273のテストケース、81.5%が意思決定のフリップを示し、98.6%が下流のセキュリティに影響を与えている。
最強の適応ベースラインと比較して、JevProbeはマクロ平均決定フリップレート(DFR)を50.4ポイント改善し、既存の防御は限定的な保護を提供する。
さらに,実世界のJevアプリケーションにおけるJPDHの体系的評価を支援するために,JevProbeBenchを構築した。
私たちはJevアプリケーションのメンテナに対して,回答を待たずに,私たちの発見を責任を持って公開しました。
JevProbeとJevProbeBenchデータセットのソースコードはGitHubで公開されている(https://github.com/xiaoxiaohg8d/JevProbe-)。
関連論文リスト
- Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety Classifiers [12.231986760106365]
TypeSafe AIのJevは、新しいタイプの安全判事だ。
開発者が事前に定義した質問に答え、各回答の確率を返す。
本報告では,Jevの初回制御逆評価について述べる。
論文 参考訳(メタデータ) (2026-10-13T06:43:29Z) - Hidden Risks of Jev: An Empirical Study of Security, Privacy, and Dual Use [22.76550110476251]
Jevは、自然言語の質問を、低レイテンシとコストで型付き回答と確率に変換する。
我々は、公式のJev APIとNanoJevを使用して、この新興利用のセキュリティとプライバシへの影響について検討する。
我々の経験的評価は、Jevが検査されたセキュリティとプライバシーの脅威に弱いままであることを示している。
論文 参考訳(メタデータ) (2026-10-04T06:09:34Z) - JEV as a Judge for Agent Trace Security: An Empirical Comparison with Generative LLM Judges [4.972830125094863]
我々は,型付き決定モデルであるJEVが,振り返りトレース分類に有用な代替手段であるかどうかを検討する。
5,219件のトラジェクトリを集計し,JEVと4人のジェネレーティブ・ジャッジを評価した。
JEV は 74.1 と比較して 77.8 のベンチマーク平均正のクラス F1 を達成している。
論文 参考訳(メタデータ) (2026-09-28T10:51:04Z) - Emo-Jev: Probabilistic Reasoning for Emotion Classification with Jev [5.757221318813801]
Emo-Jevは2つの補完的な実装を備えたトレーニング不要のフレームワークである。
Emo-Jevはタスク固有の原子判断に分類を分解し、その確率を最終的な予測に分解する。
Standard Jevは平均マクロF1を62.93%、最強のLCMベースラインを67.28%で達成し、観測レイテンシが低く、一般的に低コストである。
論文 参考訳(メタデータ) (2026-09-27T01:35:32Z) - Jev in the Wild: A Data-Driven Analysis of the Jev Model's Functionality, Applications and Ecosystem [0.8921166277011348]
Jevは、選択、二項判定、スコアで自然言語の質問に答える、高速で低コストな意思決定モデルである。
GitHubから収集した2,170の公開プロジェクトの大規模なデータ駆動分析を行います。
新しいプロジェクトと既存のリポジトリとの統合によって、Jevのパブリックエコシステムは急速に成長しています。
論文 参考訳(メタデータ) (2026-09-24T17:46:08Z) - HazardAuditor: From Executable Threats to Safer Computer-Use Agents [50.06351661912873]
既存のガードモデルは静的なプロンプトと応答をターゲットとしている。
既存の安全プラットフォームは、正規化された監督ではなく、ガードモデルで学ぶ必要がある評価判断を生成する。
両ギャップを埋める実行基盤フレームワークであるHazardAuditorを紹介します。
論文 参考訳(メタデータ) (2026-09-14T07:09:33Z) - CORA: Conformal Risk-Controlled Agents for Safeguarded Mobile GUI Automation [68.53387633351484]
有害な行為に対する統計的保証を提供するポスト・ポリティクス・プレアクション保護フレームワークであるCORA(Conformal Risk-control GUI Agent)を提案する。
CORAは、安全を選択的行動実行として再定義する:我々は、提案されたステップごとに行動条件リスクを推定するためにガーディアンモデルを訓練する。
このパラダイムを厳格に評価するために、ステップレベルのハーモラベルを持つモバイル安全違反の新しいベンチマークであるPhone-Harmを紹介する。
論文 参考訳(メタデータ) (2026-04-10T09:41:21Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z) - Beyond Reactive Safety: Risk-Aware LLM Alignment via Long-Horizon Simulation [69.63626052852153]
本稿では,モデル生成によるアドバイスが社会システムを通じてどのように伝播するかを示す概念実証フレームワークを提案する。
また、100の間接的な害シナリオのデータセットを導入し、害のないユーザプロンプトから有害で非有害な結果を予測するモデルの能力をテストする。
論文 参考訳(メタデータ) (2025-06-26T02:28:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。