論文の概要: DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision

• arxiv url: http://arxiv.org/abs/2610.19118v1
• Date: Tue, 13 Oct 2026 19:52:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.777119
• Title: DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision
• Title（参考訳）: DecisionRobust: テキストとビジョン間のJEVスタイル決定モデルに対するロバストネスのベンチマーク
• Abstract要約: DecisionRobustは、テキスト入力と視覚入力の間で決定モデルの堅牢性を評価するためのベンチマークである。 テキストタスクでは30のモデル構成が,視覚タスクでは17のモデル構成が評価され,24と12のモデルが候補選択から除外されている。 攻撃は、構築と選択に使用されるモデル以外の脆弱性を露呈するが、最適化された画像摂動は、複数のサロゲートであっても、多くのターゲットに弱く伝達される。
• 参考スコア（独自算出の注目度）: 23.552255820254157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emerging decision models such as JEV provide typed interfaces that map task instructions and observations directly to choices, judgments, and scores. As these models are increasingly used for automated decision-making, understanding their reliability under adversarial manipulation becomes critical. We introduce DecisionRobust, a benchmark for systematically evaluating the robustness of decision models across textual and visual inputs. Our benchmark covers practical decision-making scenarios and a diverse suite of attacks, including semantics-preserving text perturbations, image perturbations, and prompt injection in both modalities. We curate evaluation sets through external validity checks and cross-model candidate selection. We evaluate 30 model configurations on text tasks and 17 on vision tasks, including 24 and 12 held-out models, respectively, that are excluded from candidate selection. Our experiments reveal several key findings. First, attacks expose vulnerabilities beyond the models used for construction and selection, although optimized image perturbations transfer weakly to many targets even with multiple surrogates. Second, relative model robustness varies across tasks and attack types, and resistance to input perturbations does not necessarily imply resistance to prompt injection. Third, label-consistency checks substantially reduce measured attack success across text and image settings, highlighting the importance of validating apparent failures. The benchmark is available at https://yifan-lan.github.io/DecisionRobust/.
• Abstract（参考訳）: JEVのような新しい意思決定モデルは、タスク命令と観察を直接選択、判断、スコアにマッピングする型付きインターフェイスを提供する。 これらのモデルが自動意思決定にますます利用されているため、敵の操作下での信頼性の理解が重要になる。 DecisionRobustは、テキストおよび視覚入力間の決定モデルの堅牢性を体系的に評価するためのベンチマークである。 本ベンチマークでは,テキスト摂動のセマンティクス保存,画像摂動,両方のモダリティのインジェクションなど,現実的な意思決定シナリオと多種多様な攻撃について検討する。 我々は,外部妥当性チェックとモデル間の候補選択によって評価セットをキュレートする。 テキストタスクでは30のモデル構成が,視覚タスクでは17のモデル構成が評価され,24と12のモデルが候補選択から除外されている。 我々の実験ではいくつかの重要な発見が明らかになった。 第一に、アタックは構築と選択に使用されるモデルを超えた脆弱性を露呈するが、最適化されたイメージ摂動は複数のサロゲートでも多くのターゲットに弱く伝達される。 第二に、相対モデルロバスト性はタスクや攻撃タイプによって異なり、入力の摂動に対する抵抗はインジェクションに対する抵抗を必ずしも含まない。 第三に、ラベル一貫性チェックは、テキストと画像設定間で測定された攻撃成功を著しく低減し、明らかな障害を検証することの重要性を強調します。 ベンチマークはhttps://yifan-lan.github.io/DecisionRobust/で公開されている。

関連論文リスト

• Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation [2.8852978050220766]
  我々は,Jev,Laya,Decider,Bespoke Nimbleを特殊分類器および言語モデル判定器に対して評価する。 全体的な精度が高く、平均校正誤差が低いと、特定のグループ内で高い信頼性で安全な攻撃を隠蔽できる。 開発者はレビュールールの前方にある安全でないインプットをテストし、レビューモデルのミスを測定し、それらのインプットに対して誤ったアラームを無視する必要がある。
  論文  参考訳（メタデータ） (2026-09-27T09:30:13Z)
• Calibrated Decision Models for Autonomous Penetration-Testing Harnesses: JEV and Laya as System One Decision Layers for LLM-Driven Pentest Agents [0.0]
  システム1決定モデルが自律的な浸透テストハーネスをどのようにサポートするかを検討する。 本稿では,TypeSafe System One (Jev) とそれのないものと13の脆弱性を含むWebターゲットとを比較した探索的NeuroSploitケーススタディを提案する。 ドメイン適応型System OneモデルであるRaveを提案し、そのトレーニングデータ、評価プロトコル、およびハーネス保証に対する潜在的影響について概説する。
  論文  参考訳（メタデータ） (2026-09-24T02:47:20Z)
• LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models [49.92148175114169]
  制御された摂動を7次元にわたって導入することにより,系統的な脆弱性解析を行う。 モデルは、カメラの視点やロボットの初期状態を含む摂動要因に対して極端に敏感である。 驚くべきことに、モデルは言語の変化にほとんど敏感であり、さらなる実験により、モデルは言語命令を完全に無視する傾向があることが明らかになった。
  論文  参考訳（メタデータ） (2025-10-15T14:51:36Z)
• Semantically Guided Adversarial Testing of Vision Models Using Language Models [0.0]
  視覚モデルに対する敵対的な攻撃では、ターゲットラベルの選択は批判的だが、しばしば見過ごされる成功の決定要因である。 本稿では,事前訓練された言語と視覚言語モデルからのクロスモーダルな知識伝達を用いた,敵対的対象選択のためのセマンティクス誘導フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-15T09:11:22Z)
• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• A Hitchhikers Guide to Fine-Grained Face Forgery Detection Using Common Sense Reasoning [9.786907179872815]
  視覚と言語の可能性は、いまだに偽造検出に過小評価されている。 顔偽造検出を視覚質問応答(VQA)タスクに変換する方法論が必要である。 このギャップに対処するために,従来の二項決定パラダイムから分岐する多段階的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-01T08:16:40Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Semantic Image Attack for Visual Model Diagnosis [80.36063332820568]
  実際には、特定の列車およびテストデータセットに関する計量分析は、信頼性や公正なMLモデルを保証しない。 本稿では,セマンティック・イメージ・アタック(SIA)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T03:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。