論文の概要: VisionClaw: Always-On AI Agents through Smart Glasses
- arxiv url: http://arxiv.org/abs/2604.03486v1
- Date: Fri, 03 Apr 2026 22:17:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.603571
- Title: VisionClaw: Always-On AI Agents through Smart Glasses
- Title（参考訳）: VisionClaw:スマートグラスを使ったAIエージェント
- Abstract要約: 私たちは、生きた自我中心の認識とエージェントタスクの実行を統合する、常時オンのウェアラブルAIエージェントであるVisionClawを紹介します。
Meta Ray-Banスマートグラス上で動作するVisionClawは、現実のコンテキストを継続的に認識し、その場で音声駆動のアクション開始とデリゲートを可能にする。
- 参考スコア（独自算出の注目度）: 9.735400874849178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present VisionClaw, an always-on wearable AI agent that integrates live egocentric perception with agentic task execution. Running on Meta Ray-Ban smart glasses, VisionClaw continuously perceives real-world context and enables in-situ, speech-driven action initiation and delegation via OpenClaw AI agents. Therefore, users can directly execute tasks through the smart glasses, such as adding real-world objects to an Amazon cart, generating notes from physical documents, receiving meeting briefings on the go, creating events from posters, or controlling IoT devices. We evaluate VisionClaw through a controlled laboratory study (N=12) and a longitudinal deployment study (N=5). Results show that integrating perception and execution enables faster task completion and reduces interaction overhead compared to non-always-on and non-agent baselines. Beyond performance gains, deployment findings reveal a shift in interaction: tasks are initiated opportunistically during ongoing activities, and execution is increasingly delegated rather than manually controlled. These results suggest a new paradigm for wearable AI agents, where perception and action are continuously coupled to support situated, hands-free interaction.
- Abstract（参考訳）: 私たちは、生きた自我中心の認識とエージェントタスクの実行を統合する、常時オンのウェアラブルAIエージェントであるVisionClawを紹介します。
Meta Ray-Banスマートグラス上で動作するVisionClawは、現実のコンテキストを継続的に認識し、OpenClaw AIエージェントを介して、その場で音声駆動のアクション開始とデリゲートを可能にする。
そのためユーザは、Amazonカートに現実世界のオブジェクトを追加したり、物理的なドキュメントからメモを生成したり、行き先での会議ブリーフィングを受信したり、ポスターからイベントを作成したり、IoTデバイスを制御するといったスマートグラスを通じてタスクを直接実行することができる。
対照実験 (N=12) と縦配置 (N=5) によるVisionClawの評価を行った。
その結果、知覚と実行の統合により、タスクの完了がより早くなり、非常時ベースラインや非エージェントベースラインに比べて相互作用のオーバーヘッドが軽減されることがわかった。
タスクは進行中のアクティビティ中に不定期に起動され、実行は手動で制御されるのではなく、委譲されるようになっています。
これらの結果は、認識と行動が継続的に結合され、位置するハンズフリーなインタラクションをサポートするウェアラブルAIエージェントの新しいパラダイムを示唆している。
関連論文リスト
- Show-Harness: Just a VLM Agent Can Play Robots [53.80887083886227]
身体的視覚言語モデル(VLM)は世界に関する幅広い知性を示すが、この知性をロボット制御に翻訳することは依然として困難である。
本稿では,動作意図をリンクするコンパクトなセマンティックインターフェースを通じて,VLMがロボットを「プレイ」することを可能にする,身体的ハーネスであるShow-Harnessを紹介する。
GUMIはGUIベースのデモコレクションに同じセマンティックアクション空間を拡張し、人間やエージェントが特殊な遠隔操作ハードウェアを使わずにエボディメントをまたいでロボットを「プレイ」することができる。
論文 参考訳（メタデータ） (2026-09-09T17:53:38Z) - Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - An Augmented Reality Brain-Robot Interface for Generalist Robot Arm Manipulation [0.32326259807823027]
本稿では、視線に基づく物体選択と運動画像の動作制御を組み合わせたAR脳ロボットインタフェース(BRI)を提案する。
本システムでは、直感的なオブジェクトターゲティングのためのアイトラッキングと、タスクを通してユーザを誘導するコンテキスト対応視覚オーバーレイを用いている。
論文 参考訳（メタデータ） (2026-06-15T08:50:43Z) - Multi-Modal Multi-Agent Robotic Cognitive Alignment enabled by Non-Invasive Consumer Brain Computer Interfaces: A Proof of Concept Exploration [2.8348164438226537]
本稿では,「認知的整合」なマルチエージェントインタラクションを生成するためのフレームワークを提案する。
本稿では,自律的なタスク実行とリアルタイム神経生理学的焦点の相互作用を探索するクローズドループアーキテクチャの設計と実装について述べる。
論文 参考訳（メタデータ） (2026-06-11T10:58:31Z) - ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop [1.4279471205248535]
ProcAgentは、NVIDIA Jetson AGX Orinのリアルタイム適応ガイダンスのための視覚ベースのプロシージャアシスタントである。
ProcAgentは知覚精度,推論,タスクレベルのパフォーマンス,ユーザエクスペリエンスの4つの側面で評価する。
論文 参考訳（メタデータ） (2026-06-09T17:56:28Z) - VAIC: Vision-Guided Humanoid Agile Object Interaction Control via Decoupled Commands [56.029505206531155]
Vision Guided Agile Interaction Control (VAIC)は、現在のコントローラとヒューマノイドロボットのギャップを埋める統合フレームワークである。
まず、特権教師政策は、正確な物体運動学と正確な環境状態を用いて多様な相互作用スキルを習得する。
第二に、デプロイ可能な学生ポリシーは、全体追跡を複数の軸にまたがる速度目標に置き換えることで、これらの能力を蒸留する。
論文 参考訳（メタデータ） (2026-06-08T09:52:55Z) - ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。
スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。
ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
論文 参考訳（メタデータ） (2026-04-09T17:59:08Z) - Egocentric Co-Pilot: Web-Native Smart-Glasses Agents for Assistive Egocentric AI [56.98603185789977]
スマートグラス上で動作するWebネイティブなニューロシンボリックフレームワークであるEgocentric Co-Pilotを紹介します。
認識、推論、Webツールのツールボックスを編成するために、LLM(Large Language Model)を使用します。
EgolifeとHD-EPICの実験は、競争力や最先端のエゴセントリックQAパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-03-01T13:43:04Z) - Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning [69.71072181304066]
本稿では,擬似ヒューマノイドを用いた視覚駆動全身制御フレームワークであるPerceptive Dexterous Control (PDC)を紹介する。
PDCは、タスク仕様のためのエゴセントリックなビジョンのみを運用し、ビジュアルキューによるオブジェクト検索、ターゲット配置、スキル選択を可能にする。
強化学習によるスクラッチからのトレーニングは,能動探索などの創発的な行動を引き起こす可能性があることを示す。
論文 参考訳（メタデータ） (2025-05-18T07:33:31Z) - Reasoning in visual navigation of end-to-end trained agents: a dynamical systems approach [23.52028824411467]
本研究では,物理ロボットを用いた実環境におけるヌンペプソデスのナビゲーションエピソードに関する大規模実験を行った。
エンドツーエンドのトレーニングから生じる推論のタイプを分析します。
本稿では,エージェントが学習した値関数が長期計画に関連があることをポストホック分析で示す。
論文 参考訳（メタデータ） (2025-03-11T11:16:47Z) - Object-Centric Latent Action Learning [70.3173534658611]
本稿では,画素ではなくオブジェクトを対象とする,オブジェクト中心の潜在動作学習フレームワークを提案する。
我々は、自己教師対象中心の事前学習を利用して、行動関連や注意をそらすダイナミクスを歪めている。
その結果, 物体中心の事前学習は, トラクタの負の効果を50%軽減することがわかった。
論文 参考訳（メタデータ） (2025-02-13T11:27:05Z) - YETI (YET to Intervene) Proactive Interventions by Multimodal AI Agents in Augmented Reality Tasks [16.443149180969776]
Augmented Reality (AR)ヘッドウェアは、日々の手続き的なタスクを解く際のユーザエクスペリエンスを一意に改善することができる。
このようなAR機能は、AIエージェントがユーザーのマルチモーダル機能に関連するアクションを見て耳を傾けるのに役立つ。
一方、AIエージェントのプロアクティビティは、人間が観察されたタスクのミスを検出し、修正するのに役立つ。
論文 参考訳（メタデータ） (2025-01-16T08:06:02Z) - Ag2Manip: Learning Novel Manipulation Skills with Agent-Agnostic Visual and Action Representations [77.31328397965653]
Ag2Manip(Agent-Agnostic representations for Manipulation)は,2つの重要なイノベーションを通じて課題を克服するフレームワークである。
人間の操作ビデオから派生した新しいエージェント非依存の視覚表現であり、その具体的特徴は一般化性を高めるために隠蔽された。
ロボットのキネマティクスを普遍的なエージェントプロキシに抽象化し、エンドエフェクタとオブジェクト間の重要な相互作用を強調するエージェント非依存のアクション表現。
論文 参考訳（メタデータ） (2024-04-26T16:40:17Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳（メタデータ） (2024-01-07T19:11:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。