Fugu-MT 論文翻訳(概要): GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents

論文の概要: GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents

arxiv url: http://arxiv.org/abs/2505.12842v1
Date: Mon, 19 May 2025 08:29:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:11.48504
Title: GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents
Title（参考訳）: GEM:GUIエージェントにおける分布外検出のためのガウス埋め込みモデリング
Authors: Zheng Wu, Pengzhou Cheng, Zongru Wu, Lingzhong Dong, Zhuosheng Zhang,
Abstract要約: 環境制約に違反したり、GUIエージェントの現在の能力を超えたりするアウト・オブ・ディストリビューション(OOD)命令は、タスクの故障やセキュリティ上の脅威を引き起こす可能性がある。従来のOOD検出手法は、複雑な埋め込み空間とGUI環境の進化により、この領域でサブ最適化される。本稿では,その機能境界を反映したGUIエージェントから抽出した入力埋め込み距離にガウス混合モデルを適用する新しい手法であるGEMを提案する。
参考スコア（独自算出の注目度）: 13.415165482033395
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Graphical user interface (GUI) agents have recently emerged as an intriguing paradigm for human-computer interaction, capable of automatically executing user instructions to operate intelligent terminal devices. However, when encountering out-of-distribution (OOD) instructions that violate environmental constraints or exceed the current capabilities of agents, GUI agents may suffer task breakdowns or even pose security threats. Therefore, effective OOD detection for GUI agents is essential. Traditional OOD detection methods perform suboptimally in this domain due to the complex embedding space and evolving GUI environments. In this work, we observe that the in-distribution input semantic space of GUI agents exhibits a clustering pattern with respect to the distance from the centroid. Based on the finding, we propose GEM, a novel method based on fitting a Gaussian mixture model over input embedding distances extracted from the GUI Agent that reflect its capability boundary. Evaluated on eight datasets spanning smartphones, computers, and web browsers, our method achieves an average accuracy improvement of 23.70\% over the best-performing baseline. Analysis verifies the generalization ability of our method through experiments on nine different backbones. The codes are available at https://github.com/Wuzheng02/GEM-OODforGUIagents.
Abstract（参考訳）: グラフィカルユーザインタフェース(GUI)エージェントは近年,インテリジェント端末デバイスを操作するためのユーザ命令を自動実行可能な,人間とコンピュータのインタラクションの興味深いパラダイムとして登場した。しかし、環境制約に違反したり、エージェントの現在の能力を超過するアウト・オブ・ディストリビューション(OOD)命令に遭遇した場合、GUIエージェントはタスクの故障やセキュリティ上の脅威に直面することがある。したがって、GUIエージェントに対する効果的なOOD検出が不可欠である。従来のOOD検出手法は、複雑な埋め込み空間とGUI環境の進化により、この領域でサブ最適化される。本稿では,GUIエージェントの分布内入力セマンティック空間が,セントロイドからの距離に関してクラスタリングパターンを示すことを観察する。この発見に基づいて,GUIエージェントから抽出した入力埋め込み距離にガウス混合モデルを適用し,その機能境界を反映した新しい手法であるGEMを提案する。本手法は,スマートフォン,コンピュータ,ウェブブラウザにまたがる8つのデータセットから評価し,最高の性能のベースラインに対して平均精度を23.70倍に向上させる。解析は、9つの異なるバックボーンの実験を通して、本手法の一般化能力を検証する。コードはhttps://github.com/Wuzheng02/GEM-OODforGUIagentsで入手できる。

論文の概要: GEM: Gaussian Embedding Modeling for Out-of-Distribution Detection in GUI Agents

関連論文リスト