論文の概要: OpenGlass: A Sensing-Computing Split Architecture for Local MLLM-Driven Real-Time Visual Assistance
- arxiv url: http://arxiv.org/abs/2607.03213v1
- Date: Fri, 03 Jul 2026 11:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.559095
- Title: OpenGlass: A Sensing-Computing Split Architecture for Local MLLM-Driven Real-Time Visual Assistance
- Title（参考訳）: OpenGlass: ローカルMLLM駆動リアルタイムビジュアルアシストのためのセンシングコンピューティングスプリットアーキテクチャ
- Abstract要約: 我々は,低遅延マルチモーダル視覚支援のためのオープンソースでプライバシ指向のローカルファーストシステムであるOpenGlassを提案する。
OpenGlassは、障害物/ハザード認識、サイン/オブジェクトクエリ、画像品質の自己チェックのための、ユーザ主導の視覚支援リファレンスプラットフォームである。
- 参考スコア（独自算出の注目度）: 6.2632826199485905
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present OpenGlass, an open-source, privacy-oriented, local-first system for low-latency multimodal visual assistance, with a primary focus on blind and low-vision users. Cloud MLLM assistants offer strong visual understanding, but often require uploading first-person visual data and can suffer multi-second network delays; wearable glasses are ideal for sensing, but cannot host large models under tight compute and power budgets. OpenGlass addresses this gap with a sensing-computing split: an ESP32-based glasses-side unit captures visual context, while a nearby consumer-grade device performs local MLLM inference and local speech output, reducing cloud reliance and keeping raw egocentric visual data on user-controlled devices by default. We evaluate response quality, query-ready-to-audio latency, safety-aware abstention, and auditable logs. Under real ESP32 Wi-Fi capture, OpenGlass reaches 993 ms median user-to-audio latency with resized payloads and 1625 ms with raw 1280 x 720 payloads; 97.5% and 93.3% of trials fall below 2 s, respectively. OpenGlass is a user-initiated visual-assistance reference platform for obstacle/hazard awareness, sign/object queries, and image-quality self-checking, rather than a certified navigation aid. We release source code, hardware instructions, prompts, evaluation data, and logs.
- Abstract（参考訳）: 低遅延マルチモーダル視覚補助のためのオープンソースでプライバシ指向のローカルファーストシステムであるOpenGlassを紹介します。
クラウドMLLMアシスタントは、強力な視覚的理解を提供するが、しばしば第一人物の視覚データをアップロードする必要があるため、マルチ秒のネットワーク遅延に悩まされる。
ESP32ベースのメガネサイドユニットは視覚的コンテキストをキャプチャし、近くのコンシューマグレードのデバイスはローカルMLLM推論とローカル音声出力を実行し、クラウドへの依存を低減し、ユーザー制御デバイス上で生のエゴセントリックな視覚データをデフォルトで保持する。
我々は,応答品質,クエリ・レディ・トゥ・オーディオのレイテンシ,セーフティ・アウェアの回避,監査可能なログを評価した。
実際のESP32 Wi-Fiキャプチャでは、OpenGlassは、再サイズのペイロードで993ms、生の1280 x 720ペイロードで1625ms、それぞれ97.5%と93.3%のトライアルが2秒以下である。
OpenGlassは、認証されたナビゲーション支援ではなく、障害物/ハザード認識、サイン/オブジェクトクエリ、画像品質の自己チェックのための、ユーザ主導の視覚的アシストプラットフォームである。
ソースコード、ハードウェア命令、プロンプト、評価データ、ログをリリースします。
関連論文リスト
- VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning [133.66021945481876]
本稿では,視覚的推論生成をネイティブに制御可能にするテストベッドであるVBVR-Proを紹介する。
VBVR-Proは、視覚的推論を300の手続き的に生成されたタスク空間に変換する。
VLM-as-a-judgeパラダイムの繰り返し発生する障害モードを同定する。
論文 参考訳（メタデータ） (2026-08-26T17:59:51Z) - City Sentinel: A Unified AI-Based Smart Surveillance Framework for Real-Time Multi-Threat Detection Using Deep Learning [0.06999740786886534]
City Sentinelは、AIベースの統合監視フレームワークで、6つの検出機能をひとつのスケーラブルプラットフォームに統合する。
システムは、743msの中央値のエンドツーエンドレイテンシを実現し、4つの同時RTSPストリームをサポートする。
91.2%の顔照合率、85.7%のプレート読み取り精度、mAP@0.5スコアは火器、ナイフ、兵器検出モジュール全体で0.846から0.889である。
論文 参考訳（メタデータ） (2026-08-09T19:59:31Z) - VisionAId: An Offline-First Multimodal Android Assistant for People with Visual Impairment, Featuring Personalized Object Retrieval [0.0]
全世界で2億8500万人以上が視覚障害で暮らしている。
VisionAIdは、コモディティスマートフォンをリアルタイムのビジュアルアシスタントに変えるAndroidアプリケーションだ。
論文 参考訳（メタデータ） (2026-07-02T16:12:50Z) - OpenGlass: Ultra-Low-Power On-Device AI Eyewear with Event-based Vision [8.93031966791759]
この研究は、新しいセンサーとアルゴリズムを迅速にプロトタイピングするためのオープンソースのスマートグラスプラットフォームを導入する。
モジュラーデザインはフレキシブルなFPCインターポーザを使用して、完全なPCBなしでイベントベースのカメラとフレームベースのカメラの両方をサポートする。
プロトタイプは200mAhのバッテリーで11.5時間連続したデバイス上でのMLを実現する。
論文 参考訳（メタデータ） (2026-06-05T16:27:02Z) - Tiny Collaborative Inference for Occlusion-Robust Object Detection [0.5352699766206808]
検索と救助のためのエッジAIノードは、コンピュータビジョンをローカルで実行することがますます期待されている。
ウルトラローエンドハードウェアは、メモリ、計算、デバイス間通信に厳しい制約を課す。
本研究は、MCUバックボーン、YOLOv2検出ヘッド、Lite量子化を組み合わせることで、1MB未満の閉塞物検出装置に対処する。
論文 参考訳（メタデータ） (2026-06-01T21:10:08Z) - OpenView: Empowering MLLMs with Out-of-view VQA [73.09076507585404]
本稿では、視界の視界を超えた物体、活動、シーンを推論する能力である外見理解(OOV)に関する最初の研究について述べる。
パノラマ画像を活用することで、多点VQAを大量生成する4段階パイプラインであるOpenViewを設計する。
OpenView-Benchは,評価の解釈と診断のための選択と合理化の精度を共同で測定するベンチマークである。
論文 参考訳（メタデータ） (2025-12-21T02:11:40Z) - Are Multimodal Large Language Models Ready for Omnidirectional Spatial Reasoning? [66.88619941063048]
MLLM(Multimodal large language model)は全方向空間推論に対応しているのか?
OSR-Benchはこの設定のために特別に設計された最初のベンチマークである。
高忠実度パノラマ屋内シーンマップには、153,000以上の多様な質問応答ペアが含まれている。
GPT-4o, Gemini 1.5 Proを含む8つの最先端MLLMを評価し, ゼロショット設定で主要なオープンソースモデルを評価した。
論文 参考訳（メタデータ） (2025-05-17T08:48:40Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳（メタデータ） (2025-02-02T13:10:06Z) - The NPU-ASLP-LiAuto System Description for Visual Speech Recognition in
CNVSRC 2023 [67.11294606070278]
本稿では,第1回中国連続視覚音声認識チャレンジ(CNVSRC)2023において,NPU-ASLP-LiAuto(Team 237)が導入した視覚音声認識システムについて述べる。
データ処理に関しては,ベースライン1からリップモーション抽出器を利用してマルチスケール映像データを生成する。
トレーニング中に、速度摂動、ランダム回転、水平反転、色変換を含む様々な拡張技術が適用される。
論文 参考訳（メタデータ） (2024-01-07T14:20:52Z) - An Embedded and Real-Time Pupil Detection Pipeline [2.23017937341178]
本研究では,ウェアラブル・非侵襲型瞳孔検出のためのオープンソースの組込みシステムを提案する。
このシステムは2台の小型カメラシステムとRaspberry Piベースの組込みシステムを組み合わせたヘッドマウント型アイトラッカーのプロトタイプで構成されている。
論文 参考訳（メタデータ） (2023-02-27T19:16:42Z) - Fast Motion Understanding with Spatiotemporal Neural Networks and
Dynamic Vision Sensors [99.94079901071163]
本稿では,高速な動きを推論するための動的視覚センサ(DVS)システムを提案する。
ロボットが15m/s以上の速度で接近する小さな物体に反応するケースを考察する。
我々は,23.4m/sで24.73degの誤差を$theta$,18.4mmの平均離散半径予測誤差,衝突予測誤差に対する25.03%の中央値で移動した玩具ダートについて,本システムの結果を強調した。
論文 参考訳（メタデータ） (2020-11-18T17:55:07Z) - Streaming Object Detection for 3-D Point Clouds [29.465873948076766]
LiDARは、多くの既存の知覚システムに通知する顕著な感覚モダリティを提供する。
ポイントクラウドデータに基づく知覚システムのレイテンシは、完全なローテーションスキャンの時間量によって支配される。
我々は、LiDARデータをそのネイティブストリーミング定式化で操作することで、自動運転オブジェクト検出にいくつかの利点があることを示す。
論文 参考訳（メタデータ） (2020-05-04T21:55:15Z) - Near-chip Dynamic Vision Filtering for Low-Bandwidth Pedestrian
Detection [99.94079901071163]
本稿では、ダイナミックビジョンセンサ(DVS)を用いた歩行者検出のための新しいエンドツーエンドシステムを提案する。
我々は、複数のセンサがローカル処理ユニットにデータを送信し、検出アルゴリズムを実行するアプリケーションをターゲットにしている。
我々の検出器は450ミリ秒毎に検出を行うことができ、総合的なテストF1スコアは83%である。
論文 参考訳（メタデータ） (2020-04-03T17:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。