論文の概要: PalmClaw: A Native On-Device Agent Framework for Mobile Phones
- arxiv url: http://arxiv.org/abs/2607.13027v1
- Date: Tue, 14 Jul 2026 17:58:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.246032
- Title: PalmClaw: A Native On-Device Agent Framework for Mobile Phones
- Title(参考訳): PalmClaw: 携帯電話用のネイティブデバイスエージェントフレームワーク
- Abstract要約: textbfPalmClawは、携帯電話上で動作し、セッション、メモリ、スキル、ツール、エージェントループを直接デバイス上で管理するオープンソースのエージェントフレームワークである。
PalmClawはデバイス機能を、明示的な引数、構造化された結果、明確に定義された実行バウンダリを備えたデバイスツールとして公開する。
実験では、タスクの成功率が11.5%向上し、最強のベースラインよりも94.9%の完了時間が短縮された。
- 参考スコア(独自算出の注目度): 16.173016265644673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) agents have moved beyond generating responses to executing multi-step tasks by calling tools, observing the results, and iteratively deciding the next action. Most agent systems run on desktops or servers, which support tool use and task automation. Mobile devices are also important agent environments because they are widely accessible and contain users' data, sensors, and daily-use applications. Existing mobile agents mainly operate smartphones through graphical user interface (GUI) actions such as tapping, swiping, and typing, which often form long, interface-dependent sequences, cannot directly access device capabilities, and make execution boundaries difficult to define. We present \textbf{PalmClaw}, an open-source agent framework that runs natively on mobile phones and manages the sessions, memory, skills, tools, and agent loop directly on the device. PalmClaw exposes device capabilities as device tools with explicit arguments, structured results, and clearly defined execution boundaries. This design enables agents to use mobile capabilities directly while keeping each action explicit and controlled. Experiments show an 11.5\% relative improvement in task success and a 94.9\% reduction in completion time over the strongest baseline, with lower setup burden and traces illustrating how execution boundaries are applied. Code is available at https://github.com/ModalityDance/PalmClaw.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェントは、ツールを呼び出し、結果を観察し、次のアクションを反復的に決定することで、マルチステップタスクの実行に対する応答の生成を超えて移動してきた。
ほとんどのエージェントシステムは、ツールの使用とタスクの自動化をサポートするデスクトップまたはサーバー上で動作する。
モバイルデバイスは、広くアクセス可能であり、ユーザのデータ、センサー、日用アプリケーションを含むため、重要なエージェント環境でもある。
既存のモバイルエージェントは主に、タップ、スワイプ、タイピングといったグラフィカルなユーザーインターフェイス(GUI)アクションを通じてスマートフォンを操作する。
このフレームワークは携帯電話上でネイティブに動作し、セッション、メモリ、スキル、ツール、エージェントループを直接デバイス上で管理する。
PalmClawはデバイス機能を、明示的な引数、構造化された結果、明確に定義された実行バウンダリを備えたデバイスツールとして公開する。
この設計により、エージェントは各アクションを明示的かつ制御しながら、モバイル機能を直接使用することができる。
実験では、タスク成功の相対的な改善が11.5\%、最強のベースライン上での完了時間の94.9\%が減少し、セットアップの負担が低減し、実行バウンダリの適用方法が示される。
コードはhttps://github.com/ModalityDance/PalmClawで入手できる。
関連論文リスト
- MobilePA-Bench: Benchmarking Mobile Planner Agents on Complex Real-World Tasks [37.73689537216401]
モバイルプランニングエージェントのツールコールと計画能力を評価するための,インタラクティブでステートフルでツール中心のベンチマークである textbfMobilePA-Bench を提案する。
MobilePA-Benchは、ライブアプリケーションデータベースを保持し、構造化されたフィードバックを返す実行可能なサンドボックスで動作し、13ドルの機能ドメインと212ドルのリアルなモバイルツールにまたがる。
対話型関数呼び出しサンドボックスとエビデンスベースの検証を組み合わせることで、MobilePA-Benchは実用的な診断ベンチマークとエージェント強化学習のための対話型基盤の両方として機能する。
論文 参考訳(メタデータ) (2026-08-24T09:38:24Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳(メタデータ) (2026-06-12T15:01:32Z) - MobileExplorer: Accelerating On-Device Inference for Mobile GUI Agents via Online Exploration [3.5101477906303633]
MobileExplorerは、オンライン探索を通じて、ビジョンベースのモバイルGUIエージェントのデバイス上の推論を加速する。
高速だが簡単なバックトラッキング戦略が失敗した場合に、初期UI状態をロールバックして復元する2段階のメカニズムを設計する。
MobileExplorerは、平均的な推論ステップ数とエンドツーエンドのレイテンシを23%削減し、タスクの成功率を最大5%向上させる。
論文 参考訳(メタデータ) (2026-05-26T04:53:53Z) - DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。
長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。
LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
論文 参考訳(メタデータ) (2025-10-24T16:24:01Z) - NaviAgent: Bilevel Planning on Tool Navigation Graph for Large-Scale Orchestration [13.925896302382043]
大規模言語モデル(LLM)は、最近、外部ツールを呼び出すことによって関数呼び出しエージェントとして機能する機能を示した。
そこで我々は,タスクプランニングをツール実行からツールエコシステムのグラフベースモデリングを通じて分離するNaviAgentを提案する。
実験によると、NaviAgentはモデルとタスク間で最高のタスク成功率を達成し、TWMNを統合することで、複雑なタスクで最大17ポイントパフォーマンスが向上する。
論文 参考訳(メタデータ) (2025-06-24T10:39:07Z) - Mobile-Agent-E: Self-Evolving Mobile Assistant for Complex Tasks [85.48034185086169]
Mobile-Agent-Eは、過去の経験を通じて自己進化できる階層的なマルチエージェントフレームワークである。
Mobile-Agent-Eは従来の最先端アプローチよりも22%の絶対的な改善を実現している。
論文 参考訳(メタデータ) (2025-01-20T20:35:46Z) - AppAgent v2: Advanced Agent for Flexible Mobile Interactions [57.98933460388985]
本研究は,モバイル機器向けの新しいLLMベースのマルチモーダルエージェントフレームワークを提案する。
我々のエージェントは、様々なアプリケーションにまたがる適応性を高めるフレキシブルなアクション空間を構築する。
本研究は,実世界のシナリオにおいて,フレームワークの優れた性能を実証し,その有効性を確認した。
論文 参考訳(メタデータ) (2024-08-05T06:31:39Z) - AMEX: Android Multi-annotation Expo Dataset for Mobile GUI Agents [45.644265025493276]
我々は,モバイルシナリオにおけるAIエージェントの研究を進めるために,Android Multi-Annotation EXpo (AMEX)を紹介した。
AMEXは、人気のあるモバイルアプリケーションの104万以上の高解像度スクリーンショットで構成されており、複数のレベルで注釈付けされている。
我々は、既存のデータセットの一般的な設定を補完し、より教育的かつ詳細な視点からこのデータセットを開発する。
論文 参考訳(メタデータ) (2024-07-03T17:59:58Z) - Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration [52.25473993987409]
モバイルデバイス操作支援のためのマルチエージェントアーキテクチャであるMobile-Agent-v2を提案する。
アーキテクチャは、計画エージェント、決定エージェント、反射エージェントの3つのエージェントから構成される。
単一エージェントアーキテクチャと比較して,Mobile-Agent-v2ではタスク完了率が30%以上向上していることを示す。
論文 参考訳(メタデータ) (2024-06-03T05:50:00Z) - Benchmarking Mobile Device Control Agents across Diverse Configurations [19.01954948183538]
B-MoCAは、モバイルデバイス制御エージェントの評価と開発のためのベンチマークである。
我々は,大規模言語モデル (LLM) やマルチモーダル LLM を用いたエージェントを含む多種多様なエージェントをベンチマークする。
これらのエージェントは、簡単なタスクの実行の熟練度を示す一方で、複雑なタスクにおけるパフォーマンスの低さは、将来の研究が有効性を改善するための重要な機会を浮き彫りにしている。
論文 参考訳(メタデータ) (2024-04-25T14:56:32Z) - Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception [52.5831204440714]
自律型マルチモーダルモバイルデバイスエージェントMobile-Agentを紹介する。
Mobile-Agentはまず視覚認識ツールを利用して、アプリのフロントエンドインターフェイス内の視覚的要素とテキスト的要素の両方を正確に識別し、特定する。
そして、複雑なオペレーションタスクを自律的に計画し、分解し、ステップバイステップでモバイルアプリをナビゲートする。
論文 参考訳(メタデータ) (2024-01-29T13:46:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。