論文の概要: MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models
- arxiv url: http://arxiv.org/abs/2608.03740v1
- Date: Tue, 04 Aug 2026 14:34:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.243167
- Title: MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models
- Title（参考訳）: MissClick:GUIグラウンドモデルを攻撃するために、ディジタイズされたコーディネートを爆発させる
- Abstract要約: 本稿では,2つの目的を目標とする単純かつ効果的なホワイトボックス攻撃を提案する。
MissClick-Uは非目標破壊のためのソフトコーディネート変位を最大化し、MissClick-Tはターゲットハイジャックのための位置重み付きターゲットデジタル損失を最小化する。
OS-AtlasとUGroundのGUIグラウンドモデルに対する既存の攻撃と比較して、MissClick-Uは75.07%と72.93%(+16.62と+30.72pp)の未目標成功率、MissClick-Tは44.86%と62.67%(+31.73と+31.73)の目標成功率を達成した。
- 参考スコア（独自算出の注目度）: 17.07003926593996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent GUI visual grounding models generate screen coordinates as sequences of digit tokens that are parsed into numerical values and mapped to executable clicks. The security implications of this coordinate generation process have been largely overlooked. We observe that each coordinate digit is predicted as a categorical token, yet after parsing, changing a hundreds-place digit by one changes the corresponding numerical coordinate component by 100 units, which can induce a large displacement of the executed click. This observation motivates attack objectives that account for the numerical and place-value structure of coordinate outputs rather than treating them as ordinary text. Moreover, untargeted and targeted attacks impose different success conditions--displacing the click outside the correct region versus into an attacker-specified region--and therefore benefit from different objectives. We propose MissClick, a simple and effective white-box adversarial attack with two goal-specific objectives: MissClick-U maximizes soft-coordinate displacement for untargeted disruption, while MissClick-T minimizes a place-weighted target-digit loss for targeted hijacking. Compared with existing attacks against GUI grounding models on OS-Atlas and UGround across desktop, web, and mobile platforms, MissClick-U achieves untargeted success rates of 75.07\% and 72.93\% (+16.62 and +30.72 pp), and MissClick-T achieves targeted success rates of 44.86\% and 62.67\% (+31.73 and +47.06 pp). Attack objective comparison further shows that soft-coordinate displacement yields the highest untargeted attack success rate, whereas place-weighted target-digit optimization yields the highest targeted attack success rate, revealing distinct objective preferences for the two attack goals.
- Abstract（参考訳）: 最近のGUIビジュアルグラウンドモデルは、数値に解析され実行可能なクリックにマッピングされる桁トークンのシーケンスとして画面座標を生成する。
この座標生成プロセスのセキュリティへの影響はほとんど見過ごされている。
各座標桁は分類トークンとして予測されるが、解析後、数百の桁を1つずつ変更し、対応する数値座標成分を100単位変更することで、実行されたクリックの大規模な変位を誘発することができる。
この観察は、通常のテキストとして扱うのではなく、座標出力の数値と位置値の構造を考慮に入れた攻撃目標を動機付けている。
さらに、ターゲット外攻撃とターゲット対象攻撃では、正しい領域の外側のクリックを攻撃者が特定した領域に分割するなど、異なる成功条件が課されるため、異なる目的の恩恵を受ける。
MissClick-Uは標的外乱に対するソフトコーディネート変位を最大化し、MissClick-Tはターゲットハイジャックのための位置重み付きターゲット桁損失を最小化する。
OS-AtlasとUGroundのデスクトップ、ウェブ、モバイルプラットフォームでのGUIグラウンディングモデルに対する攻撃と比較して、MissClick-Uは75.07\%と72.93\%(+16.62と+30.72pp)の未目標成功率、MissClick-Tは44.86\%と62.67\%(+31.73と+47.06pp)の目標成功率を達成した。
攻撃目標比較では, ソフトコーディネート変位が最も標的外攻撃成功率が高いのに対し, 位置重み付き目標桁最適化は目標目標達成率が高いことを示し, 2つの攻撃目標に対して異なる目的優先性を示す。
関連論文リスト
- DreamTrajectory: Trajectory-Guided Action Generation with World Model Alignment for Mobile Manipulation [33.046851310859495]
本稿では,DreamTrajectoryについて述べる。
MS-HABでは、軌道誘導は平均的な成功率を32.3%から47.5%に引き上げ、テストタイムの改善を54.8%に引き上げている。
3つの実世界のモバイル操作タスクにおいて、対応する平均成功率は63.3%、81.7%、90.0%である。
論文 参考訳（メタデータ） (2026-08-02T17:02:48Z) - Opportunistic Target Selection: Early Directional Commitment for Query-Efficient Black-Box Adversarial Attacks [2.6068891840779957]
ゼロ・トゥルース・信頼のみを最小限に抑えるブラックボックスの敵攻撃は、クラスドリフトに苦しむ。
我々は、標的外攻撃を目標目標に切り替える軽量ラッパーであるOpportunistic Target Selection (OTS)を導入する。
OTSは、基盤となるアタックのアーキテクチャ変更、グラデーションアクセス、事前のターゲットクラス知識を必要としない。
論文 参考訳（メタデータ） (2026-05-25T10:14:06Z) - IntentScore: Intent-Conditioned Action Evaluation for Computer-Use Agents [10.905829987425752]
IntentScoreは、398KオフラインGUIインタラクションステップから候補動作のスコアを学習するプラン対応報酬モデルである。
Int IntentScore 97.5%は、ホールドアウト評価においてペアワイズ判別精度を達成する。
Int IntentScoreはタスク成功率を6.9ポイント改善し、不均一なオフライン軌道から学んだ報酬推定が未確認エージェントやタスク分布に一般化されることを示した。
論文 参考訳（メタデータ） (2026-04-06T20:39:30Z) - Zero-Shot Stance Detection in the Wild: Dynamic Target Generation and Multi-Target Adaptation [13.424443287821118]
我々は,動的ターゲット生成とマルチターゲット適応による野生でのゼロショット姿勢検出という新しい課題を提案する。
我々は,中国のソーシャルメディアスタンス検出データセットを構築し,多次元評価指標を設計する。
論文 参考訳（メタデータ） (2026-01-27T17:04:18Z) - Multi-Target Backdoor Attacks Against Speaker Recognition [61.26040837545449]
位置に依存しないクリック音を用いた話者識別に対するマルチターゲットバックドア攻撃を提案する。
提案手法は最大50人の話者を同時に対象とし,95.04%の成功率を達成した。
論文 参考訳（メタデータ） (2025-08-12T01:52:30Z) - Web Artifact Attacks Disrupt Vision Language Models [61.59021920232986]
視覚言語モデル(VLM)は、大規模で軽量にキュレートされたWebデータセットに基づいて訓練されている。
意味概念と無関係な視覚信号の間に意図しない相関関係を学習する。
これまでの研究は、これらの相関関係をモデル予測を操作するための攻撃ベクトルとして武器化してきた。
非マッチングテキストとグラフィカル要素の両方を使ってモデルを誤解させる新しい操作のクラスである「アーティファクトベース」アタックを導入する。
論文 参考訳（メタデータ） (2025-03-17T18:59:29Z) - CLIP-Guided Generative Networks for Transferable Targeted Adversarial Attacks [52.29186466633699]
トランスファー可能な敵攻撃は、ブラックボックスのシナリオで敵が特定した予測を出力するモデルを誤解させることを目的としている。
textitsingle-target 生成攻撃は、高い転送可能な摂動を生成するために、各ターゲットクラスのジェネレータを訓練する。
textbfCLIP-guided textbfGenerative textbfNetwork with textbfCross-attention module (CGNC) to enhance multi-target attack。
論文 参考訳（メタデータ） (2024-07-14T12:30:32Z) - Revisiting Character-level Adversarial Attacks for Language Models [53.446619686108754]
本稿では、高い攻撃成功率(ASR)を達成することができる効率的なクエリベースの敵攻撃であるCharmerを紹介する。
提案手法は,小型 (BERT) モデルと大型 (Llama 2) モデルの両方を対象としている。
論文 参考訳（メタデータ） (2024-05-07T14:23:22Z) - PRAT: PRofiling Adversarial aTtacks [52.693011665938734]
PRofiling Adversarial aTacks (PRAT) の新たな問題点について紹介する。
敵対的な例として、PRATの目的は、それを生成するのに使用される攻撃を特定することである。
AIDを用いてPRATの目的のための新しいフレームワークを考案する。
論文 参考訳（メタデータ） (2023-09-20T07:42:51Z) - Alternating Objectives Generates Stronger PGD-Based Adversarial Attacks [78.2700757742992]
Projected Gradient Descent (PGD) は、そのような敵を生成するための最も効果的で概念的にシンプルなアルゴリズムの1つである。
この主張を合成データの例で実験的に検証し、提案手法を25の$ell_infty$-robustモデルと3つのデータセットで評価した。
私たちの最強の敵攻撃は、AutoAttackアンサンブルのすべてのホワイトボックスコンポーネントより優れています。
論文 参考訳（メタデータ） (2022-12-15T17:44:31Z) - Patch-wise++ Perturbation for Adversarial Targeted Attacks [132.58673733817838]
トランスファビリティの高い対比例の作成を目的としたパッチワイズ反復法(PIM)を提案する。
具体的には、各イテレーションのステップサイズに増幅係数を導入し、$epsilon$-constraintをオーバーフローする1ピクセルの全体的な勾配が、その周辺領域に適切に割り当てられる。
現在の攻撃方法と比較して、防御モデルでは35.9%、通常訓練されたモデルでは32.7%、成功率を大幅に向上させた。
論文 参考訳（メタデータ） (2020-12-31T08:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。