論文の概要: AnchorGUI: Asymmetric Memory for Dual-Scale Learning in GUI Navigation
- arxiv url: http://arxiv.org/abs/2609.15457v1
- Date: Mon, 14 Sep 2026 12:22:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.321706
- Title: AnchorGUI: Asymmetric Memory for Dual-Scale Learning in GUI Navigation
- Title（参考訳）: AnchorGUI:GUIナビゲーションにおけるデュアルスケール学習のための非対称メモリ
- Abstract要約: 視覚言語モデル(VLM)は、自律的なGUIナビゲーションを可能にするが、エージェントは密集した連続した視覚履歴から処理と学習に苦慮している。
このボトルネックは、単一のエピソード(裁判内)内での即時エラー補正と、複数の試みにおける蒸留経験の両方を妨げる。
我々はCSA(Cognitive State Anchor)によって駆動される統合フレームワークであるAnchorGUIを提案する。
- 参考スコア（独自算出の注目度）: 15.201027614547172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) enable autonomous GUI navigation, but agents still struggle to process and learn from dense, continuous visual histories. This bottleneck hinders both immediate error correction within a single episode (intra-trial) and experience distillation across multiple attempts (cross-trial). We trace these challenges to an empirical informational asymmetry in GUI navigation: while expected transitions can often be compressed into lightweight textual summaries, unexpected outcomes benefit from preserved screenshots as causal evidence for accurate diagnosis. Building on this insight, we propose AnchorGUI, a unified framework driven by the Cognitive State Anchor (CSA). The CSA acts as a per-step primitive that actively compares expected and observed transitions, converting passive multimodal trajectories into explicit prediction-error signals. These signals orchestrate a dual-scale learning mechanism via an asymmetric memory. For intra-trial correction, a sliding window selectively retains visual evidence for detected mismatches, providing immediate, visually-grounded feedback. For cross-trial distillation, this asymmetric memory focuses the computationally expensive credit assignment search space on likely failure steps. Experiments across four benchmarks validate the effectiveness of our approach. On AndroidWorld, AnchorGUI achieves a 57.3% success rate with a $2.4\times$ token reduction per step. Furthermore, cross-trial distillation reaches 69.2% success (+11.9% gain), significantly outperforming standard reflection methods while maintaining sub-linear context scaling.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、自律的なGUIナビゲーションを可能にするが、エージェントは密集した連続した視覚履歴から処理と学習に苦慮している。
このボトルネックは、単一のエピソード(裁判内)内での即時エラー補正と、複数の試み(裁判内)にわたる蒸留経験の両方を妨げる。
期待される遷移は軽量なテキスト要約に圧縮されることが多いが、予期せぬ結果は正確な診断の因果的証拠として保存されたスクリーンショットから得られる。
この知見に基づいて,認知状態アンカー(CSA)によって駆動される統合フレームワークであるAnchorGUIを提案する。
CSAは、期待と観測された遷移を積極的に比較し、パッシブなマルチモーダル軌道を明示的な予測エラー信号に変換するステップ単位のプリミティブとして機能する。
これらの信号は、非対称メモリを介して二重スケールの学習機構を編成する。
心房内矯正のために、スライディングウィンドウは、検出されたミスマッチの視覚的証拠を選択的に保持し、即時、視覚的なフィードバックを提供する。
クロスリアル蒸留では、この非対称メモリは計算コストの高いクレジット代入検索空間を、おそらく失敗するステップに焦点を合わせている。
4つのベンチマークによる実験は、我々のアプローチの有効性を検証する。
AndroidWorldでは、AnchorGUIが57.3%の成功率で、ステップ当たりのトークン還元が2.4\times$2.4\timesである。
さらに、クロスコート蒸留は69.2%成功(+11.9%上昇)し、サブ線形コンテキストスケーリングを維持しながら標準反射法を著しく上回っている。
関連論文リスト
- DeCoRAG: Cognitive Decoupling and Semantic-Aware Cropping for Complex Document Understanding [9.340832029984703]
DeCoRAGはマルチモーダルグラフRAGパイプラインで、知識処理を結合した視覚的意味論的推論から「認知的疎結合」へ移行する。
DeCoRAGは最強のベースラインに対して最大12.5ポイントのセマンティックパスレートを改善する。
RAP-Cropは、エンドツーエンドの精度を犠牲にすることなく、オフライングラフ構築プロンプトを40.8%削減する。
論文 参考訳（メタデータ） (2026-07-27T15:28:02Z) - A History-Aware Visually Grounded Critic for Computer Use Agents [70.50900668601969]
HiViGは、実際のGUIトラジェクトリで訓練されたマルチモーダル批評家を中心に構築されたテストタイムフレームワークである。
テスト時には、HiViGは批判者をポリシー決定ループに統合し、マクロアクション履歴を提供する。
Visually Grounded critiqueは、現在のスクリーンショットに対する生の実行座標を検証して、実行前にエラーをインターセプトする。
論文 参考訳（メタデータ） (2026-06-09T16:39:10Z) - What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs [33.91859613266694]
VLM(Vision-Language Models)におけるGUIグラウンディング中に何が起こるかを調べ、これまで見過ごされていたボトルネックを特定する。
プリフィルステージは候補UI要素を決定するが、デコードステージは最終的な座標を洗練させる。
Re-Prefillは、注意誘導された第2のプリフィルステージを導入して、ターゲット選択を洗練させることによって推論を再考する、トレーニング不要な手法である。
論文 参考訳（メタデータ） (2026-05-10T07:04:07Z) - From Frame-Level Recognition to Event-Level Confirmation: Repair Traces and Runtime Failure Analysis of Public-Space Gesture Interaction [2.266434739615348]
これを認識と相互作用のギャップと呼ぶ。
本稿では,景観と景観の対話型キオスクプロジェクトから8つの工学的修復記録を解析する。
繰り返し発生する修復機構を,ハンドランドマークモデルとインタラクションタスクの間のイベントレベルのランタイム抽象化に整理する。
論文 参考訳（メタデータ） (2026-05-03T21:21:44Z) - RVLM: Recursive Vision-Language Models with Adaptive Depth [0.1631115063641726]
RVLMは単一パス推論を反復生成実行ループに置き換える。
すべての診断クレームは、監査性要件を満たす実行可能なコードに基礎を置いています。
Gemini 2.5 Flashを用いたBraTS 2023 Meningioma (脳MRI) とMIMIC-CXR (胸部X線) の評価を行った。
論文 参考訳（メタデータ） (2026-03-25T11:52:55Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL [64.8155693023222]
オープンソースのネイティブGUIエージェントは、長い水平ナビゲーションタスクのクローズドソースシステムに遅れを取っている。
このギャップは、高品質でアクション整合性のある推論データが不足していることに起因している。
GUI-Libraは、これらの課題に対処する調整されたトレーニングレシピです。
論文 参考訳（メタデータ） (2026-02-25T18:34:57Z) - Dual Latent Memory for Visual Multi-agent System [69.29799381195592]
Visual Multi-Agent Systems (VMAS)は、エージェント間のコラボレーションを通じて包括的な能力を強化することを約束する。
増量剤は、指数関数的にトークンコストを膨らませながら、しばしば性能を低下させる。
L$2$-VMASは,2つの潜在記憶を用いたエージェント間コラボレーションを実現する新しいモデルに依存しないフレームワークである。
論文 参考訳（メタデータ） (2026-01-31T02:49:10Z) - Patch Spatio-Temporal Relation Prediction for Video Anomaly Detection [19.643936110623653]
ビデオ異常検出(VAD)は、特定のコンテキストと時間枠内の異常を識別することを目的としている。
近年の深層学習に基づくVADモデルは,高解像度フレームの生成によって有望な結果を示した。
本稿では, パッチ間関係予測タスクを通じて, VADの自己教師型学習手法を提案する。
論文 参考訳（メタデータ） (2024-03-28T03:07:16Z) - UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision
Transformer for Face Forgery Detection [52.91782218300844]
そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。
自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
論文 参考訳（メタデータ） (2022-10-23T15:24:47Z) - Dense Label Encoding for Boundary Discontinuity Free Rotation Detection [69.75559390700887]
本稿では,分類に基づく比較的研究の少ない方法論について検討する。
我々は2つの側面でフロンティアを推し進めるための新しい手法を提案する。
航空画像のための大規模公開データセットの実験と視覚解析は,我々のアプローチの有効性を示している。
論文 参考訳（メタデータ） (2020-11-19T05:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。