論文の概要: From Seeing to Acting: Smart Glasses as First-Person Intelligence Platforms
- arxiv url: http://arxiv.org/abs/2608.24877v1
- Date: Tue, 25 Aug 2026 17:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:35.126153
- Title: From Seeing to Acting: Smart Glasses as First-Person Intelligence Platforms
- Title（参考訳）: 観察から行動へ - ファーストパーソンインテリジェンスプラットフォームとしてのスマートグラス
- Abstract要約: この調査は、このような統一されたフレームワークを通じて、まずスマートグラスを体系的に研究するテキストbfである。
我々は、一人称データフローと制約付きタスクユーティリティを形式化し、8つの検証可能なハードウェア機能軸に沿ってデバイスを特徴付ける。
L0-L5フレームワークは、キャプチャ、反応性知覚、文脈支援、永続状態、支配行動、エンボディ結合にまたがる。
- 参考スコア（独自算出の注目度）: 41.6438119803209
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Smart glasses are evolving from capture and display accessories into first-person intelligence platforms that connect human perception, persistent context, and digital or physical action. Their on-body viewpoint aligns with the wearer's vision, audition, motion, and hand-object interaction, but must operate under tight energy, thermal, privacy, and feedback constraints. Despite rapid progress in augmented reality, egocentric vision, multimodal models, human-computer interaction, and embodied intelligence, the literature remains fragmented across devices, tasks, and benchmarks. \textit{The key challenge is not whether a model can recognize, answer, remember, or act in isolation, but whether a complete system can sustain a reliable, temporally valid, correctable, and governable perception-state-interaction-action loop.} This survey is \textit{the \textbf{first} to systematically study smart glasses through such a unified framework}. We formalize first-person data flow and constrained task utility, characterize devices along eight verifiable hardware capability axes, organize the literature around seven interdependent foundational capabilities, and introduce an L0-L5 framework spanning capture, reactive perception, contextual assistance, persistent state, governed action, and embodied coupling. Across nine application scenes, we connect tasks with datasets, systems, products, stakeholders, failure consequences, and evidence gaps. We further present a nine-dimensional deployment framework, a claim-conditioned evaluation protocol, and an evidence ladder from controlled measurement to longitudinal field validation and audit. Together, these elements make smart glasses more comparable, deployable, and reproducibly evaluated, while outlining a roadmap toward trustworthy first-person intelligence.
- Abstract（参考訳）: スマートグラスは、アクセサリーのキャプチャと表示から、人間の知覚、永続的なコンテキスト、デジタルまたは物理的なアクションを結びつけるファースト・パーソナライズ・インテリジェンス・プラットフォームへと進化しつつある。
体上の視点は、着用者の視力、オーディション、動き、手動物体の相互作用と一致しているが、厳しいエネルギー、熱、プライバシー、フィードバックの制約の下で動作しなければならない。
拡張現実、自我中心のビジョン、マルチモーダルモデル、人間とコンピュータの相互作用、そしてインテリジェンスが急速に進歩しているにもかかわらず、この文献はデバイス、タスク、ベンチマークで断片化されている。
重要な課題は、モデルが独立して認識、答え、記憶、行動できるかどうかではなく、完全なシステムが信頼性があり、時間的に有効で、修正可能で、制御可能な知覚-状態-相互作用ループを維持できるかどうかである。
この調査は、このような統合されたフレームワークを通じてスマートグラスを体系的に研究するための、‘textit{the \textbf{first}’である。
我々は、一対一のデータフローと制約されたタスクユーティリティを形式化し、8つの検証可能なハードウェア機能軸に沿ってデバイスを特徴付けるとともに、7つの相互依存機能に関する文献を整理し、キャプチャ、リアクティブ知覚、コンテキストアシスト、永続状態、支配されたアクション、および具体的結合にまたがるL0-L5フレームワークを導入する。
9つのアプリケーションシーンで、私たちはタスクをデータセット、システム、製品、利害関係者、失敗の結果、エビデンスギャップと結び付けます。
さらに, 9次元の配置フレームワーク, クレーム条件付き評価プロトコル, および, 制御された計測から縦断的フィールド検証, 監査までのエビデンス・ラウンダを提示する。
これらの要素を組み合わせることで、スマートグラスはより同等で、デプロイ可能で、再現的に評価され、信頼性の高いファーストパーソンインテリジェンスへのロードマップを概説する。
関連論文リスト
- World Models for Embodied Intelligence: From Plausible to Controllable to Actionable [100.13060753774657]
世界モデルは、隠れた状態を維持し、結果を予測し、介入を比較し、実行が期待から外れたときに適応することによって、インテリジェンスにおける知覚と意思決定を結びつける。
これは、どの予測能力が振る舞いを改善するかという、中心的な疑問を提起する。
可塑性モデルは、タスク関連時間的・幾何学的・物理的構造を保存し、制御可能なモデルは、介入がどのように構造を変えるかを予測し、アクション可能なモデルは、予測を計画、行動、学習、評価、検証、回復、データ選択において測定可能な利得に変換する。
論文 参考訳（メタデータ） (2026-09-15T06:22:42Z) - Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI [0.5156484100374058]
エゴセントリックなビデオは、着用者の視点からアクティビティを捉え、人間の注意、手-物間相互作用、ゴール指向の行動の直接的なビューを提供する。
現在のモデルは、特に長時間の活動において、対話、アクション、ユーザー意図の進化よりも、可視オブジェクトを確実に認識する。
デプロイ可能なエンボディードインテリジェンスにとって重要な優先事項として,時間的基盤の推論,インタラクション対応の監視,効率的な長ビデオ処理,マルチモーダル融合,グラフ強化表現,クロスドメインの一般化,プライバシ,信頼に値する評価を挙げる。
論文 参考訳（メタデータ） (2026-08-19T08:21:58Z) - Audio-Visual Intelligence in Large Foundation Models [123.78167820053545]
オーディオ・ビジュアル・インテリジェンス(AVI)は人工知能の中心的フロンティアとして登場した。
急激な進歩にもかかわらず、文学は断片化され、多種多様なタスク、一貫性のない、異質な評価慣行にまたがっている。
この調査は、大規模な基盤モデルのレンズを通して、AVIに関する最初の包括的なレビューを提供する。
論文 参考訳（メタデータ） (2026-05-05T17:59:16Z) - PISHYAR: A Socially Intelligent Smart Cane for Indoor Social Navigation and Multimodal Human-Robot Interaction for Visually Impaired People [0.0]
PISHYARは、ナビゲーションとマルチモーダルなヒューマン-AIインタラクションを組み合わせて、物理的なモビリティとインタラクティブなアシストをサポートするスマート杖である。
このシステムはシミュレーションベースのテスト、実世界のフィールド実験、ユーザー中心の研究を組み合わせることで評価される。
論文 参考訳（メタデータ） (2026-02-13T04:17:55Z) - Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration [72.84714132070404]
受動的相互作用から視覚環境の能動的探索に移行する枠組みを提案する。
Active-Zeroでは,3つの共進化エージェントが採用されている。 モデルの機能フロンティアに基づいて,オープンワールドリポジトリからイメージを取得する検索だ。
12ベンチマークにわたるQwen2.5-VL-7B-インストラクションについて : Active-Zero 53.97 における推論タスクの平均精度(5.7%の改善)と一般理解における 59.77 について(3.9%の改善)
論文 参考訳（メタデータ） (2026-02-11T17:29:17Z) - Real-Time Multi-Modal Embedded Vision Framework for Object Detection Facial Emotion Recognition and Biometric Identification on Low-Power Edge Platforms [0.44219509596259216]
Raspberry Pi 5エッジプラットフォーム上にデプロイされた統合パイプラインにオブジェクト検出、所有者固有の顔認識、感情検出を統合したリアルタイムマルチモーダルビジョンフレームワークを提案する。
我々の研究は、コスト効率の良いエッジハードウェア上で複雑なマルチモーダルAIをアンロックする鍵は、コンテキスト対応のスケジューリングであることを示している。
論文 参考訳（メタデータ） (2026-01-17T09:06:47Z) - Forging Spatial Intelligence: A Roadmap of Multi-Modal Data Pre-Training for Autonomous Systems [75.78934957242403]
自動運転車とドローンは、マルチモーダル搭載センサーデータから真の空間情報を必要とする。
本稿では,この目標に向かって進む中核的な技術群を同定し,マルチモーダル・プレトレーニングのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-30T17:58:01Z) - Video Event Reasoning and Prediction by Fusing World Knowledge from LLMs with Vision Foundation Models [10.1080193179562]
現在の理解モデルは「何」を認識するのに優れているが、因果推論や将来の予測のような高いレベルの認知タスクでは不足している。
本稿では,知識駆動型推論コアとして機能するLarge Language Model (LLM)を用いて,視覚の深層認識のための強力なビジョン基礎モデルと融合する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-08T09:43:17Z) - Temporal Binding Foundation Model for Material Property Recognition via Tactile Sequence Perception [2.3724852180691025]
触覚シーケンス理解のための時間的結合基盤モデルを用いた新しい手法を提案する。
提案システムは,人間の指先知覚と同様,触覚相互作用の連続的な性質を捉えている。
論文 参考訳（メタデータ） (2025-01-24T21:47:38Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳（メタデータ） (2022-10-22T18:39:33Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。