論文の概要: StepReflect: Structured UI Transition Reflection for Mobile GUI Agents
- arxiv url: http://arxiv.org/abs/2608.05587v1
- Date: Thu, 06 Aug 2026 04:17:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.818635
- Title: StepReflect: Structured UI Transition Reflection for Mobile GUI Agents
- Title（参考訳）: StepReflect: モバイルGUIエージェントのための構造化UI遷移反射
- Abstract要約: ステップ毎のGUI反射を明示的な遷移仕様とペアの視覚的エビデンスに基づく教師付き構造化予測として定式化するStepReflectを提案する。
オフラインでは、結果の8Bモデルは、AndroidWorldで82.16%のトランジションレベルの精度を達成し、ゼロショットのGPT-5.2を11.83ポイント上回る。
オンライン上では、M3A、Agent-SAMA、MAI-UI-8B、Seed-2.0-Proの3つのエージェント構成のうち、StepReflectはより高いタスク成功を実現している。
- 参考スコア（独自算出の注目度）: 22.922734013100825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous mobile GUI agents require accurate action reflection for reliable long-horizon execution. Existing approaches rely on open-ended multimodal reasoning after each action, which is costly and poorly matched to the structured nature of GUI state transitions. We propose StepReflect, which formulates per-step GUI reflection as supervised structured prediction conditioned on explicit transition specifications and paired visual evidence. StepReflect is trained through a staged pipeline combining supervised fine-tuning, teacher-student distillation, and preference- and reward-based refinement. Offline, the resulting 8B model achieves 82.16% transition-level accuracy on AndroidWorld, exceeding zero-shot GPT-5.2 by 11.83 percentage points under the same structured input. Online, across M3A, Agent-SAMA, MAI-UI-8B, and Seed-2.0-Pro, StepReflect achieves higher task success in three of four agent configurations and remains within one successful task of the GPT-5.2 Reflection Agent in the fourth. It also reduces paid API charges relative to GPT-based reflection in all four configurations. These results establish StepReflect as a practical, locally deployable alternative to repeated frontier-model reflection for long-horizon mobile GUI agents.
- Abstract（参考訳）: 自律移動GUIエージェントは、信頼できる長距離実行のために正確なアクションリフレクションを必要とする。
既存のアプローチは、各アクションの後のオープンなマルチモーダル推論に依存しており、GUI状態遷移の構造的性質と不整合である。
ステップ毎のGUI反射を明示的な遷移仕様とペアの視覚的エビデンスに基づく教師付き構造化予測として定式化するStepReflectを提案する。
StepReflectは、教師による微調整、教師による蒸留、および嗜好と報酬に基づく洗練を組み合わせた、段階的なパイプラインを通じて訓練される。
オフラインでは、結果の8BモデルはAndroidWorldで82.16%のトランジションレベルの精度を達成し、ゼロショットのGPT-5.2を11.83ポイント上回る。
オンライン上では、M3A、Agent-SAMA、MAI-UI-8B、Seed-2.0-Proの3つのエージェント構成のうち、StepReflectはより高いタスク成功を実現している。
また、4つの構成すべてにおいて、GPTベースのリフレクションに対する有料API料金を削減します。
これらの結果は、長い水平移動GUIエージェントに対するフロンティアモデルリフレクションの実践的でローカルにデプロイ可能な代替手段としてStepReflectを確立している。
関連論文リスト
- Reflection with Action-Induced Visual Differences for Desktop GUI Agents [29.424541963900598]
Planner-Operator-Reflector (POR)フレームワークは複雑なタスクにおける客観的アライメントを維持するためにGUIエージェントで広く使われている。
既存のリフレクタは、変化の検出と結果の検証を1ステップに分解し、証拠を暗黙的に残し、根拠の弱い決定を下す。
Evidence-First Reflection (EFR) は、2段階の反射鏡であり、行動誘発視覚差を結果検証から抽出する。
論文 参考訳（メタデータ） (2026-08-25T03:10:01Z) - A Task-State Representation for Long-Horizon Mobile GUI Agents [53.359524744953575]
Task-State Representation (TSR)は、感覚入力からタスク状態を明示的に分離する、トレーニング不要のフレームワークである。
4つのモバイルGUIベンチマークによる実験では、TSRの有効性が検証され、成功率が12ポイントまで向上した。
論文 参考訳（メタデータ） (2026-07-01T06:37:21Z) - TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition [62.56752617853322]
アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。
本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
論文 参考訳（メタデータ） (2026-05-16T03:47:26Z) - VLAA-GUI: Knowing When to Stop, Recover, and Search, A Modular Framework for GUI Automation [98.38575149237442]
VLAA-GUIは3つの統合コンポーネントを中心に構築されたモジュラーGUIフレームワークである。
必須完全性検証は、UIで観測可能な成功基準と検証を、各完了ステップで実施する。
強制的なループブレーカは、繰り返し失敗した後、多層切替インタラクションモードを提供する。
論文 参考訳（メタデータ） (2026-04-23T07:42:37Z) - UI-Ins: Enhancing GUI Grounding with Multi-Perspective Instruction-as-Reasoning [51.54456545661045]
本稿では,インストラクション・アズ・ア・推論(Instruction-as-Reasoning)パラダイムを導入し,インストラクションを動的解析経路として扱う。
これを実現するために,教師付き微調整と強化学習という2段階のトレーニングフレームワークを提案する。
得られたモデルであるUI-Ins-7BとUI-Ins-32Bは、5つの挑戦的なグラウンドベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-10-23T07:18:32Z) - GUI-Shepherd: Reliable Process Reward and Verification for Long-Sequence GUI Tasks [75.50160982584943]
本稿では,エージェントを誘導するプロセス・リワード・モデルを提案する。
Gui-Shepherdは52ドル(約5,800円)のインタラクションからなるさまざまな大規模データセットでトレーニングされている。
GUIエージェントにおけるプロセス管理の体系的な研究を最初に行った。
論文 参考訳（メタデータ） (2025-09-28T08:35:16Z) - MobileIPL: Enhancing Mobile Agents Thinking Process via Iterative Preference Learning [45.46445208254837]
The Chain of Action-Planning Thoughts (CoaT) paradigm has been shown to improve the reasoning performance of VLM-based mobile agent in GUI task。
対話型サンプリングによりCoaTツリーを構築し,ルールベース報酬を用いて葉ノードをスコアし,フィードバックをバックプロパゲートして思考レベル直接選好最適化(T-DPO)のペアを導出する反復選好学習(IPL)を提案する。
論文 参考訳（メタデータ） (2025-05-18T08:28:05Z) - UI-TARS: Pioneering Automated GUI Interaction with Native Agents [58.18100825673032]
本稿では,GUIエージェントのネイティブモデルであるUI-TARSを紹介する。
OSWorldベンチマークでは、UI-TARSはスコアが24.6、50ステップが22.7、15ステップが22.7でクロード(それぞれ22.0と14.9)を上回っている。
論文 参考訳（メタデータ） (2025-01-21T17:48:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。