論文の概要: KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill

• arxiv url: http://arxiv.org/abs/2607.12625v2
• Date: Wed, 15 Jul 2026 04:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 12:21:59.595584
• Title: KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill
• Title（参考訳）: KnowAct-GUIClaw: 深く知る, 完璧に行動する, 自己進化型メモリとスキルを備えたパーソナルGUIアシスタント
• Authors: Yunxin Li, Jinchao Li, Shibo Su, Zhenran Xu, Chenrui Zhao, Tongshu Bian, Xiaoman Liang, Meishan Zhang, Baotian Hu, Min Zhang,
• Abstract要約: OpenClawは複雑なタスク自動化のための主要なエージェントフレームワークとして登場した。 クロスプラットフォームのGUIインタラクションサポートが不十分で、十分に構築された自己進化メカニズムに直面する。 我々は,OpenClawのGUI操作障害に対応するために設計された新しいフレームワークであるKnowAct-GUIClawを紹介する。
• 参考スコア（独自算出の注目度）: 45.91241911718917
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: OpenClaw has emerged as a leading agent framework for complex task automation, yet it faces insufficient cross-platform GUI interaction support and a well-built self-evolution mechanism. These flaws limit its adaptation to diverse device ecosystems and prevent performance improvements through continuous learning from execution experience. To resolve these issues, we propose the Know Deeply, Act Perfectly paradigm for personal assistants, which holds that accumulated user interaction and task-running experience directly improve execution accuracy and efficiency, unifying cognitive comprehension and operational execution. Based on this paradigm, we introduce KnowAct-GUIClaw, a novel Know-Route-Act-Reflect framework designed to address OpenClaw's GUI manipulation deficits and break through its cross-platform and recursive self-improvement constraints. First, the host agent leverages accumulated interaction experience and task-relevant knowledge for long-horizon task decomposition and allocation (Know). Second, a pluggable GUI subagent with an experience-attributable memory system (Know) and self-evolving skill library (Act), enabling seamless cross-platform migration and fast-path integration. Especially, this framework continuously stores user profiles and feedback to improve the accuracy of task decomposition and tool calls. Extensive experiments across Android, iOS, HarmonyOS and Windows show that KnowAct-GUIClaw achieves superior efficiency, accuracy and cross-platform adaptability. Especially, the GUIClaw with open-source Kimi-2.6 models achieves the best performance (64.1%) on the long-horizon MobileWorld benchmark, beating all agentical frameworks and closed-source agentical models, e.g., Seed-2.0-Pro and GPT-5.5. Additionally, the knowledgeable memory and execution skills supported by our framework are transferable across diverse base models, improving by 8.5% with Kimi-2.6.
• Abstract（参考訳）: OpenClawは複雑なタスク自動化のための主要なエージェントフレームワークとして登場したが、クロスプラットフォームのGUIインタラクションサポートが不十分で、十分に構築された自己進化メカニズムに直面している。 これらの欠陥は、さまざまなデバイスエコシステムへの適応を制限するとともに、実行経験から継続的学習を通じてのパフォーマンス向上を防ぐ。 これらの問題を解決するために、我々は、ユーザインタラクションとタスク実行経験の蓄積が実行精度と効率を直接的に改善し、認知理解と操作実行を統一する、パーソナルアシスタントのためのノウ・ディープリー・アクト・パーフェクトリーパラダイムを提案する。 このパラダイムに基づいて,OpenClawのGUI操作障害に対処し,クロスプラットフォームかつ再帰的な自己改善制約を突破するように設計された,新しいノウ・ルート・アクト・レフレクトフレームワークであるKnowAct-GUIClawを紹介する。 まず、ホストエージェントは、長時間のタスク分解とアロケーション(Know)のために、蓄積されたインタラクションエクスペリエンスとタスク関連知識を活用する。 第二に、経験貢献型メモリシステム(Know)と自己進化型スキルライブラリ(Act)を備えたプラグイン可能なGUIサブエージェントで、シームレスなクロスプラットフォームマイグレーションと高速パス統合を実現する。 特に、このフレームワークは、ユーザプロファイルとフィードバックを継続的に保存し、タスクの分解とツールコールの精度を向上させる。 Android、iOS、HarmonyOS、Windowsの広範な実験によると、KnowAct-GUIClawは優れた効率、精度、クロスプラットフォーム適応性を実現している。 特に、オープンソースのKimi-2.6モデルを持つGUIClawは、ロングホライゾンのMobileWorldベンチマークで最高のパフォーマンス(64.1%)を達成し、すべてのエージェントフレームワークとクローズドソースのエージェントモデル、例えばSeed-2.0-Pro、GPT-5.5を圧倒した。 さらに、我々のフレームワークがサポートする知識のあるメモリと実行スキルは、さまざまなベースモデル間で転送可能であり、Kim-2.6で8.5%改善されている。

関連論文リスト

• AppAgent-Claw: CLI Is All You Need for GUI Automation [9.116481317329493]
  AppAgent-Clawは、GUIを実行時推論なしで信頼性のある再利用可能なスキルに変換するデモ駆動システムである。 視覚的なシフトを処理するためにレイヤ化されたローカライゼーション戦略と、スクリーン上の意図された効果を保証するためのバリデーション結合実行モデルを採用している。
  論文  参考訳（メタデータ） (2026-04-15T17:02:09Z)
• EchoTrail-GUI: Building Actionable Memory for GUI Agents via Critic-Guided Self-Exploration [16.593979443102754]
  エージェントに動的にアクセス可能なメモリを装備することで、人間のような体験学習を模倣する新しいフレームワークであるEchoTrail-GUIを紹介する。 まず、エージェントがGUI環境と自律的に対話して、成功しているタスク軌跡のキュレートされたデータベースを構築し、報酬モデルで検証する。 第2に、メモリインジェクションの段階では、新しいタスクを受信すると、最も関連性の高い過去の軌跡を効率よく検索して「記憶」として機能させる。 第3に、GUIタスク推論において、これらの記憶は、エージェントの推論と意思決定プロセスに通知するためのコンテキスト内ガイダンスとして注入される。
  論文  参考訳（メタデータ） (2025-12-22T13:42:18Z)
• UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning [155.51875080423883]
  グラフィカルユーザインタフェースのための自律エージェントの開発は、人工知能における大きな課題を示している。 本稿では,GUI中心のエージェントモデルであるUI-TARS-2を提案する。 実証的な評価では、UI-TARS-2は以前のUI-TARS-1.5よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-09-02T17:44:45Z)
• MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment [63.62778707277929]
  MobileGUI-RLは、オンライン環境でGUIエージェントをトレーニングするスケーラブルなフレームワークである。 自己探索とフィルタリングを通じて学習可能なタスクのカリキュラムを合成する。 GRPOをGUIナビゲーションに適応させ、軌道認識の利点と複合報酬を付与する。
  論文  参考訳（メタデータ） (2025-07-08T07:07:53Z)
• AgentCPM-GUI: Building Mobile-Use Agents with Reinforcement Fine-Tuning [82.42421823672954]
  AgentCPM-GUIは、堅牢で効率的なオンデバイスGUIインタラクションのために構築されている。 私たちのトレーニングパイプラインには、知覚を高めるためのグラウンドアウェア事前トレーニングが含まれています。 AgentCPM-GUIは5つの公開ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-02T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。