論文の概要: An Egocentric Vision-Language Model based Portable Real-time Smart Assistant
- arxiv url: http://arxiv.org/abs/2503.04250v1
- Date: Thu, 06 Mar 2025 09:33:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-07 17:59:00.757982
- Title: An Egocentric Vision-Language Model based Portable Real-time Smart Assistant
- Title（参考訳）: Egocentric Vision-Language Model を用いたポータブルリアルタイムスマートアシスタント
- Abstract要約: 我々は、ポータブルデバイス上でリアルタイムかつ包括的なAIアシストを提供するために設計された視覚言語システムであるVinciを紹介する。
Vinciは、エゴセントリックなビジョン基盤モデルと大きな言語モデルを統合する新しいモデルであるEgoVideo-VLを活用している。
vinciはハードウェアに依存しないため、スマートフォンやウェアラブルカメラなど、幅広いデバイスへのデプロイをサポートする。
- 参考スコア（独自算出の注目度）: 50.324455115241186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Vinci, a vision-language system designed to provide real-time, comprehensive AI assistance on portable devices. At its core, Vinci leverages EgoVideo-VL, a novel model that integrates an egocentric vision foundation model with a large language model (LLM), enabling advanced functionalities such as scene understanding, temporal grounding, video summarization, and future planning. To enhance its utility, Vinci incorporates a memory module for processing long video streams in real time while retaining contextual history, a generation module for producing visual action demonstrations, and a retrieval module that bridges egocentric and third-person perspectives to provide relevant how-to videos for skill acquisition. Unlike existing systems that often depend on specialized hardware, Vinci is hardware-agnostic, supporting deployment across a wide range of devices, including smartphones and wearable cameras. In our experiments, we first demonstrate the superior performance of EgoVideo-VL on multiple public benchmarks, showcasing its vision-language reasoning and contextual understanding capabilities. We then conduct a series of user studies to evaluate the real-world effectiveness of Vinci, highlighting its adaptability and usability in diverse scenarios. We hope Vinci can establish a new framework for portable, real-time egocentric AI systems, empowering users with contextual and actionable insights. Including the frontend, backend, and models, all codes of Vinci are available at https://github.com/OpenGVLab/vinci.
- Abstract（参考訳）: 我々は、ポータブルデバイス上でリアルタイムかつ包括的なAIアシストを提供するために設計された視覚言語システムであるVinciを紹介する。
Vinciは、エゴセントリックなビジョン基盤モデルと大きな言語モデル(LLM)を統合する新しいモデルであるEgoVideo-VLを活用し、シーン理解、時間的接地、ビデオ要約、将来の計画などの高度な機能を実現する。
実用性を高めるために、Vinciは、コンテキスト履歴を保持しながら、長いビデオストリームをリアルタイムで処理するためのメモリモジュール、視覚行動デモを生成する生成モジュール、スキル獲得のための関連するハウツービデオを提供するエゴセントリックおよび第三者の視点を橋渡しする検索モジュールを組み込んだ。
特殊なハードウェアに依存している既存のシステムとは異なり、Vinciはハードウェアに依存しない。
実験では、まず複数の公開ベンチマークにおいて、EgoVideo-VLの優れた性能を実演し、その視覚言語推論と文脈理解能力を示す。
次に、Vinciの現実的な有効性を評価するために一連のユーザスタディを実施し、その適応性と多様なシナリオにおけるユーザビリティを強調します。
Vinciが、ポータブルでリアルタイムなエゴセントリックなAIシステムのための、新しいフレームワークを確立できることを願っている。
フロントエンド、バックエンド、モデルを含め、Vinciのすべてのコードはhttps://github.com/OpenGVLab/vinciで入手できる。
関連論文リスト
- Are We There Yet? Exploring the Capabilities of MLLMs in Assistive AI Applications [13.70614147379083]
マルチモーダル大言語モデル(MLLM)は、視覚エンコーダと大規模言語モデルを組み合わせることで、視覚的理解を再定義する。
本研究は,実世界のタスクにおける最先端モデルを評価することによって,MLLMがAssistive AIをサポートすることができるかどうかを考察する。
論文 参考訳（メタデータ） (2026-06-23T18:44:59Z) - Can World Models Benefit VLMs for World Dynamics? [59.73433292793044]
本研究では,世界モデル先行モデルがビジョンランゲージモデルに移行した場合の能力について検討する。
最高の性能を持つDynamic Vision Aligner (DyVA) と名付けます。
DyVAはオープンソースとプロプライエタリの両方のベースラインを超え、最先端または同等のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2025-10-01T13:07:05Z) - Video Event Reasoning and Prediction by Fusing World Knowledge from LLMs with Vision Foundation Models [10.1080193179562]
現在の理解モデルは「何」を認識するのに優れているが、因果推論や将来の予測のような高いレベルの認知タスクでは不足している。
本稿では,知識駆動型推論コアとして機能するLarge Language Model (LLM)を用いて,視覚の深層認識のための強力なビジョン基礎モデルと融合する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-08T09:43:17Z) - EgoM2P: Egocentric Multimodal Multitask Pretraining [55.259234688003545]
大規模なエゴセントリックなマルチモーダルモデルとマルチタスクモデルの構築は、ユニークな課題を示している。
EgoM2Pは、時間的に認識されたマルチモーダルトークンから学習し、エゴセントリックな4D理解のための大規模な汎用モデルをトレーニングするマスク付きモデリングフレームワークである。
私たちはEgoM2Pを完全にオープンソース化し、コミュニティを支援し、エゴセントリックなビジョン研究を前進させます。
論文 参考訳（メタデータ） (2025-06-09T15:59:25Z) - Vinci: A Real-time Embodied Smart Assistant based on Egocentric Vision-Language Model [49.90916095152366]
我々は、エゴセントリックな視覚言語モデルに基づいて構築されたリアルタイムエンボディ型スマートアシスタントであるVinciを紹介する。
ヴィンチは「常に」モードで動作し、環境を継続的に観察してシームレスな相互作用と補助を提供する。
我々は、アップロードされたビデオをテストするためのデモWebプラットフォームとともに、デバイス開発のための完全な実装をリリースする。
論文 参考訳（メタデータ） (2024-12-30T16:57:05Z) - Vitron: A Unified Pixel-level Vision LLM for Understanding, Generating, Segmenting, Editing [150.0380447353081]
本稿では,静的画像とダイナミックビデオの両方の包括的理解,セグメンテーション,クラスタ化のために設計された,ユニバーサルピクセルレベルのビジョンLLMであるVITRONを紹介する。
LLMの上に構築されているVITRONは、画像、ビデオ、ピクセルレベルの地域視覚のエンコーダをモジュール内に組み込んでおり、最先端のビジュアルスペシャリストをバックエンドとして採用している。
論文 参考訳（メタデータ） (2024-10-08T08:39:04Z) - Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。
本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。
モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
論文 参考訳（メタデータ） (2024-06-24T17:59:42Z) - Towards Multi-Task Multi-Modal Models: A Video Generative Perspective [5.495245220300184]
この論文は、さまざまな条件下でビデオやその他のモダリティを生成するマルチタスクモデルを構築するために、我々の努力を年代記している。
我々は、視覚的観察と解釈可能な語彙の双方向マッピングのための新しいアプローチを公表する。
私たちのスケーラブルなビジュアルトークン表現は、生成、圧縮、理解タスクで有益であることが証明されます。
論文 参考訳（メタデータ） (2024-05-26T23:56:45Z) - How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。
CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。
我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
論文 参考訳（メタデータ） (2024-05-06T17:59:45Z) - Video as the New Language for Real-World Decision Making [100.68643056416394]
ビデオデータは、言語で表現しにくい物理世界に関する重要な情報をキャプチャする。
ビデオは、インターネットの知識を吸収し、多様なタスクを表現できる統一インターフェースとして機能する。
ロボット工学、自動運転、科学といった分野における大きなインパクトの機会を特定します。
論文 参考訳（メタデータ） (2024-02-27T02:05:29Z) - DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (Exemplified as A Video Agent) [73.10899129264375]
本稿では,LLMによる動的シーン理解のための包括的かつ概念的にエレガントなシステムであるドラモンGPTについて検討する。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
我々は,DoraemonGPTの有効性を,3つのベンチマークといくつかのアプリ内シナリオで広範囲に評価した。
論文 参考訳（メタデータ） (2024-01-16T14:33:09Z) - Towards Long-Form Video Understanding [7.962725903399016]
本稿では,大規模データセット上での長文ビデオのモデリングと評価プロトコルの開発を行うフレームワークを提案する。
オブジェクト中心のトランスフォーマーに基づく新しいビデオ認識アーキテクチャは、7つの多様なタスクで大幅に向上する。
論文 参考訳（メタデータ） (2021-06-21T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。