論文の概要: Tactile: Giving Computer-Using Agents Hands and Feet
- arxiv url: http://arxiv.org/abs/2607.14443v1
- Date: Thu, 16 Jul 2026 00:35:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.938831
- Title: Tactile: Giving Computer-Using Agents Hands and Feet
- Title（参考訳）: 触覚:コンピュータのエージェントに手と足を与える
- Abstract要約: 私たちはTactileというオープンソースのツールレイヤを紹介します。
Tactileは異種UIエビデンスに適応したオペレーティングシステムアクセシビリティセマンティクス、OCRテキスト、ビジュアルフォールバックリージョンを、アクショングラウンドのインターフェース状態に変換する。
エージェントは、利用可能な時にネイティブなセマンティックアクションを好むオブザーブ・グラウンド・アクト・バリデーション・ループを介して動作し、可視テキストが最良の証拠であるときにOCRのグラウンドド座標にフォールバックし、リプレイと失敗帰属の完全な証明を保持する。
- 参考スコア（独自算出の注目度）: 9.655595397922488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computer-use agents are becoming capable software operators, but their interface to desktop applications is still often a brittle motor layer: they look at screenshots, predict coordinates, click, and hope that the visible state changed as intended. This collapses target grounding, action execution, and outcome verification into a single ambiguous operation. We present Tactile, an open-source tool layer that gives agents a more reliable "hands and feet" for desktop use. Tactile converts heterogeneous UI evidence--operating-system accessibility semantics, OCR-grounded text, and visual fallback regions--into action-grounded interface states: compact target candidates with source labels, roles or text, state, geometry, executable affordances, and verification cues. Agents operate through an observe-ground-act-verify loop that prefers native semantic actions when available, falls back to OCR-grounded coordinates when visible text is the best evidence, and keeps full provenance for replay and failure attribution. On macOSWorld-style tasks, adding Tactile improves Codex Success@100 from 41.1% to 50.0% overall and from 45.2% to 55.3% on accessibility-adapted tasks; a 96-task cross-agent subset shows consistent gains across Codex, Claude Code, OpenCode, and Goose. These results suggest that reliable computer use requires not only stronger models, but also a reusable execution substrate that exposes software actions as semantic, verifiable, and auditable objects rather than anonymous screen coordinates.
- Abstract（参考訳）: コンピュータ利用エージェントは有能なソフトウェアオペレーターになりつつあるが、デスクトップアプリケーションへのインターフェースは依然として不安定なモーター層であり、スクリーンショットを見たり、座標を予測したり、クリックしたり、目に見える状態が意図通りに変化することを期待している。
これにより、目標グラウンディング、アクション実行、結果検証が1つの曖昧な操作に崩壊する。
私たちはTactileというオープンソースのツールレイヤを紹介します。
Tactileは異種UIエビデンス、オペレーティングシステムアクセシビリティセマンティクス、OCRベースのテキスト、視覚的なフォールバック領域を変換する。
エージェントは、利用可能な時にネイティブなセマンティックアクションを好むオブザーブ・グラウンド・アクト・バリデーション・ループを介して動作し、可視テキストが最良の証拠であるときにOCRのグラウンドド座標にフォールバックし、リプレイと失敗帰属の完全な証明を保持する。
macOSWorldスタイルのタスクでは、Tactileの追加により、Codex Success@100が41.1%から50.0%に、アクセシビリティ対応タスクが45.2%から55.3%に改善された。
これらの結果は、信頼性の高いコンピュータの使用には、より強力なモデルだけでなく、ソフトウェアアクションを、匿名の画面座標ではなく、セマンティック、検証可能、監査可能なオブジェクトとして公開する再利用可能な実行基板が必要であることを示唆している。
関連論文リスト
- EchoPath: Execution-Level Replayable Memory for GUI Agents [45.101663136838916]
本稿では,アーチファクト検証されたGUIトラジェクトリを標準化されたパラメータ制御型コール可能なメモリに変換する,モデルに依存しないハーネスであるEchoPathを紹介する。
各メモリにはタスクインテントキー、アプリケーションと状態の事前条件、フレキシブルな入力パラメータ、GUIエビデンス、バリデーション証明、ライフサイクル状態が格納される。
実際のコンピュータ使用タスクの実験では、EchoPathは中央値トークンのコストを90%以上削減し、中央値の実行時間を約60%削減した。
論文 参考訳（メタデータ） (2026-09-15T04:56:17Z) - StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。
そのメインエージェントは、コードを使用してプログラム状態と直接連携する。
専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
論文 参考訳（メタデータ） (2026-07-24T14:17:03Z) - PalmClaw: A Native On-Device Agent Framework for Mobile Phones [16.173016265644673]
textbfPalmClawは、携帯電話上で動作し、セッション、メモリ、スキル、ツール、エージェントループを直接デバイス上で管理するオープンソースのエージェントフレームワークである。
PalmClawはデバイス機能を、明示的な引数、構造化された結果、明確に定義された実行バウンダリを備えたデバイスツールとして公開する。
実験では、タスクの成功率が11.5%向上し、最強のベースラインよりも94.9%の完了時間が短縮された。
論文 参考訳（メタデータ） (2026-07-14T17:58:57Z) - GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents [57.03233891304263]
18のアプリケーションと12のワークフローカテゴリにわたる440のデスクトップタスクの一致した実行層ベンチマークを導入する。
最強のGUIエージェントが59.1%のフルパスレートに達し、48.2%で最強のオリジナルスキルCLIエージェントを上回りました。
論文 参考訳（メタデータ） (2026-06-22T17:05:07Z) - Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence [31.954261925882452]
このサーベイは、視覚的に接地された入力と出力の下でコードを生成し、編集し、洗練し、理屈を定めているシステムを調べます。
まず、コードが各タスクで果たす役割によってフィールドを定式化します。
次に、ベンチマークとメソッドをグラフィカルユーザインタフェース、システミックビジュアライゼーション、構造化グラフィックス、フロンティアタスクとフレームワークの4つのドメインにまとめます。
論文 参考訳（メタデータ） (2026-06-14T17:21:43Z) - OpenComputer: Verifiable Software Worlds for Computer-Use Agents [50.93029275079928]
OpenComputerは、コンピュータ利用エージェントの検証可能なソフトウェア世界を構築するための検証済みのフレームワークである。
OpenComputerは現在の形式で、ブラウザ、オフィスツール、クリエイティブソフトウェア、開発環境、ファイルマネージャ、通信アプリケーションにまたがる、33のデスクトップアプリケーションと1,000の最終的なタスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-19T12:40:29Z) - See, Point, Refine: Multi-Turn Approach to GUI Grounding with Visual Feedback [8.080056970922483]
Computer Use Agents (CUA) は基本的にグラフィカルユーザインタフェース(GUI)に依存しており、言語命令を実行可能なスクリーンアクションに変換する。
既存のアプローチは通常単発座標予測に依存しており、誤り訂正のメカニズムが欠如しており、しばしば高密度インタフェースで失敗する。
本稿では,符号化環境における画素精度カーソルのローカライゼーションに関する実証的研究を行う。
我々は,GPT-5.4,Claude,Qwenにまたがるアプローチを複雑な符号化ベンチマークで評価し,マルチターン改良が,クリック精度とクリック精度の両方において,最先端のシングルショットモデルよりも著しく優れていることを示した。
論文 参考訳（メタデータ） (2026-04-14T17:55:46Z) - AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents [18.82273534480229]
モバイルグラフィカルユーザインタフェース(GUI)エージェントは、アプリケーションとオペレーティングシステム(OS)を自律的に制御する
本稿では,視覚的に自然なトリガを用いたモバイルGUIエージェントにおけるリモートアクション実行を誘導する新しいバックドアアタックであるAgentRAEを提案する。
評価の結果,提案したバックドアは10個のモバイル操作に対して90%以上の攻撃成功率でクリーンな性能を保っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-24T09:51:43Z) - WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning [51.14454312533818]
WebGen-Agentは、包括的で多層的な視覚フィードバックを活用する新しいWebサイト生成エージェントである。
WebGen-Agent の推論エンジンとして機能する LLM の能力を向上させるために,Screenshot と GUI-Adnt Feedback を備えた textitStep-GRPO を導入している。
WebGen-Agent は Claude-3.5-Sonnet の精度を 26.4% から 51.9% に引き上げ、外観スコアを 3.0 から 3.9 に引き上げた。
論文 参考訳（メタデータ） (2025-09-26T17:59:51Z) - Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis [57.371814877372515]
グラフィカルユーザインタフェース(GUI)の基盤は、コンピュータ利用エージェント開発において依然として重要なボトルネックとなっている。
多様なタスクタイプにまたがる564の細かな注釈付きサンプルからなる総合ベンチマークであるOSWorld-Gを紹介する。
我々は、400万のサンプルを含む、最大のコンピュータ利用基盤データセットであるJediを合成してリリースする。
論文 参考訳（メタデータ） (2025-05-19T15:09:23Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳（メタデータ） (2024-06-18T17:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。