論文の概要: LLaDA-UI: Bringing Block-wise Diffusion to Vision-Language GUI Agents
- arxiv url: http://arxiv.org/abs/2609.13287v1
- Date: Wed, 09 Sep 2026 05:53:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.173974
- Title: LLaDA-UI: Bringing Block-wise Diffusion to Vision-Language GUI Agents
- Title（参考訳）: LLaDA-UI:視覚言語GUIエージェントにブロックワイド拡散をもたらす
- Abstract要約: 我々は16.7BパラメータMOEベースのブロックワイド拡散視覚言語GUIエージェントであるLLaDA-UIを提案する。
LLaDA-UIはQwen2.5-VL-7Bを大きく上回り、6つのGUIベンチマークのうち4つのベンチマークでQwen3-VL-8Bを上回っている。
- 参考スコア（独自算出の注目度）: 52.61417375636918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion large language models (dLLMs) achieve high decoding efficiency through block-parallel, arbitrary-order generation, making them attractive for latency-sensitive applications. GUI agents represent a natural testbed for this paradigm, as they must repeatedly perceive screen states and emit structured, spatially grounded actions in real time. However, whether dLLMs can be extended into capable multimodal GUI agents while preserving their parallel decoding advantage remains an open question. We present LLaDA-UI, a 16.7B-parameter MoE-based, block-wise diffusion vision-language GUI agent. LLaDA-UI follows a two-stage training pipeline: general multimodal pre-training aligns a native-resolution vision encoder with the LLaDA2.0-mini-base diffusion language backbone, followed by GUI-agent supervised fine-tuning on diverse mobile, desktop, web, and grounding data. Across widely adopted grounding benchmarks and navigation benchmarks spanning multiple platforms, LLaDA-UI substantially outperforms Qwen2.5-VL-7B and surpasses Qwen3-VL-8B on four of six reported GUI benchmarks. These results establish block-wise diffusion as a practical generative paradigm for multimodal GUI agents.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)はブロック並列で任意の順序生成によって高い復号効率を実現し、遅延に敏感なアプリケーションにとって魅力的なものとなる。
GUIエージェントはこのパラダイムの自然なテストベッドであり、スクリーン状態を繰り返し認識し、構造化された空間的接地されたアクションをリアルタイムで出力する必要がある。
しかし、dLLMをマルチモーダルGUIエージェントに拡張できるかどうかは、その並列デコーディングの利点を保ちながら未解決のままである。
我々は16.7BパラメータMOEベースのブロックワイド拡散視覚言語GUIエージェントであるLLaDA-UIを提案する。
LLaDA-UIは2段階のトレーニングパイプラインに従っている。 一般的なマルチモーダル事前トレーニングは、LLaDA2.0-mini-base拡散言語バックボーンにネイティブ解像度のビジョンエンコーダをアライメントする。
複数のプラットフォームにまたがるグラウンドベンチマークとナビゲーションベンチマークが広く採用されているが、LLaDA-UIはQwen2.5-VL-7Bを大きく上回り、6つのGUIベンチマークのうち4つでQwen3-VL-8Bを上回っている。
これらの結果は,マルチモーダルGUIエージェントの実用的な生成パラダイムとしてブロックワイド拡散を確立する。
関連論文リスト
- LLaDA2.0-Uni: Unifying Multimodal Understanding and Generation with Diffusion Large Language Model [43.908068133557215]
LLaDA2.0-Uniは,マルチモーダル理解と生成をサポートする離散拡散大言語モデル(dLLM)である。
そのアーキテクチャは、完全にセマンティックな離散トークン化器、MoEベースのdLLMバックボーン、拡散復号器を組み合わせたものである。
論文 参考訳（メタデータ） (2026-04-22T17:20:42Z) - Towards GUI Agents: Vision-Language Diffusion Models for GUI Grounding [11.148970971741273]
グラフィカルユーザインタフェースグラウンドリングのためのARモデルの代替として,個別の視覚言語モデルが有効であるかどうかを評価する。
我々はLLaDA-Vを単一ターン動作とバウンディングボックス予測に適用し、マルチモーダル入力からテキスト生成としてタスクをフレーミングする。
ハイブリッドマスキングを用いた適応拡散モデルが線形マスキングの変種より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-03-27T09:34:07Z) - GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents [19.27396264271709]
GUI-CEvalは、物理的なデバイス環境上に構築された中国のモバイルGUIエージェントのための最初の包括的なベンチマークである。
4つのデバイスタイプにまたがる201のメインストリームアプリにまたがって、原子能力と現実的なアプリケーションレベルのパフォーマンスを5次元(知覚、計画、リフレクション、実行、評価)で評価する2レベル構造を採用している。
論文 参考訳（メタデータ） (2026-03-16T09:45:33Z) - PAL-UI: Planning with Active Look-back for Vision-Based GUI Agents [151.86841216364294]
textbfPAL-UI (textbfActive textbfLook-back) を提案する。
PAL-UIは、二重レベルの要約エージェントを組み合わせ、観察レベルの手がかりとアクションレベルの結果の両方を、専用の検索ツールと組み合わせる。
論文 参考訳（メタデータ） (2025-10-01T01:48:39Z) - SparkUI-Parser: Enhancing GUI Perception with Robust Grounding and Parsing [13.521180435948791]
本稿ではGUI知覚のための新しいエンドツーエンドフレームワークを提案する。
確率ベース離散モデリングの代わりに、座標の連続モデリングを行う。
これにより、離散出力特性に固有の制限を効果的に緩和する。
論文 参考訳（メタデータ） (2025-09-05T08:24:12Z) - Manager: Aggregating Insights from Unimodal Experts in Two-Tower VLMs and MLLMs [61.903626952650605]
2tower Vision-Language Models (VLM) は、様々な下流VLタスクに強い性能を示す。
我々は,訓練済みの未学習専門家のさまざまなレベルからの洞察を適応的に集約する,軽量で効率的で効果的なプラグインであるManageerを提案する。
論文 参考訳（メタデータ） (2025-06-13T07:16:41Z) - AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。
私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。
AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-06-02T07:30:29Z) - LLaDA-V: Large Language Diffusion Models with Visual Instruction Tuning [71.98260064022452]
LLaDA-Vは,視覚的インストラクションチューニングとマスク付き拡散モデルを統合した,純粋拡散に基づくマルチモーダル言語モデル(MLLM)である。
代表的な大規模言語拡散モデルであるLLaDAに基づいて構築されたLLaDA-Vには、視覚的特徴を言語埋め込み空間に投影するビジョンエンコーダとコネクタが組み込まれている。
論文 参考訳（メタデータ） (2025-05-22T17:23:26Z) - InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection [38.833925781308665]
MLLMベースのGUIエージェントである textitInfiGUIAgent を2段階の教師付き微調整パイプラインでトレーニングした。
ステージ1はGUIの理解や接地といった基本的なスキルを強化し、ステージ2は階層的推論と予測反射推論のスキルを統合する。
textitInfiGUIAgentは、いくつかのGUIベンチマークで競合するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-01-08T15:45:21Z) - Liquid: Language Models are Scalable and Unified Multi-modal Generators [112.71734051183726]
Liquidは視覚的理解と生成をシームレスに統合する自動回帰生成パラダイムである。
従来のマルチモーダルな大言語モデル(MLLM)とは異なり、Liquidは単一の大言語モデルを用いてこの統合を実現する。
初めてLiquidは、ビジュアルタスクと言語タスクの統一トレーニングによって必然的にパフォーマンスが低下する、スケーリングの法則を明らかにした。
論文 参考訳（メタデータ） (2024-12-05T16:48:16Z) - ShowUI: One Vision-Language-Action Model for GUI Visual Agent [80.50062396585004]
グラフィカルユーザインタフェース(GUI)アシスタントの構築は、人間のワークフロー生産性を向上させるための大きな約束である。
デジタルワールドにおける視覚言語アクションモデル、すなわちShowUIを開発し、以下のイノベーションを特徴とする。
256Kデータを使用した軽量な2BモデルであるShowUIは、ゼロショットのスクリーンショットグラウンドで75.1%の精度を実現している。
論文 参考訳（メタデータ） (2024-11-26T14:29:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。