論文の概要: EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input
- arxiv url: http://arxiv.org/abs/2608.15614v1
- Date: Sun, 16 Aug 2026 08:28:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.364204
- Title: EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input
- Title（参考訳）: EgoGazeLite:Token-Efficient Multimodal LLM Video InputのためのオンデバイスEgocentric Gaze予測
- Abstract要約: ウェアラブルデバイスによるマルチモーダルビデオ理解は トークン予算に制約されています
以前の作業(GazeLLM)では、カメラ装着者の視線の周りにビデオをトリミングすることで、この問題に対処しています。
この圧縮戦略は、消費者向けスマートグラスでは利用できない専用アイトラッキングハードウェアに依存している。
EgoGazeLite(エゴガゼライト)は、エゴ中心ビデオのための軽量なデュアルプロセスの視線予測装置である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of multimodal LLMs (MLLMs) for egocentric video understanding with wearable devices is constrained by the token budget. Memory and compute cost scale with the number of visual tokens, and high-resolution video quickly becomes expensive to transmit and process at scale. Prior work (GazeLLM) addresses this by cropping the video around the camera wearer's gaze. This reduces the number of visual tokens by about tenfold while maintaining or improving the quality of full-resolution descriptions. However, this compression strategy depends on dedicated eye-tracking hardware, which is unavailable on consumer smart glasses. Building a software-only substitute poses a joint constraint: the predictor must be accurate enough to preserve downstream description quality, yet light enough to run on-device, within the power and compute budget of a smartphone. We address this with EgoGazeLite, a lightweight dual-process gaze predictor for egocentric video. Across two MLLMs, three automated metrics, and two LLM judges, predicted-gaze crops show no significant difference from ground-truth-gaze crops. Equivalence is confirmed in all ten cases. EgoGazeLite achieves this at 15.7M parameters, 6.71 GFLOPs, and runs the full gaze-and-crop pipeline end-to-end in real time (21.6 ms/frame) on consumer accelerator hardware. Together, these results remove the need for eye-tracking hardware for token-efficient, gaze-conditioned egocentric video understanding with MLLMs.
- Abstract（参考訳）: ウェアラブルデバイスを用いたエゴセントリックなビデオ理解のためのマルチモーダルLLM(MLLM)の使用はトークン予算に制約されている。
ビジュアルトークンの数でメモリと計算コストのスケールをスケールし、高解像度のビデオは素早く送信と処理に費用がかかる。
以前の作業(GazeLLM)では、カメラ装着者の視線の周りにビデオをトリミングすることで、この問題に対処しています。
これにより、完全な解像度記述の品質を維持したり改善したりしながら、視覚トークンの数を約10倍に削減できる。
しかし、この圧縮戦略は、消費者向けスマートグラスでは利用できない専用アイトラッキングハードウェアに依存している。
予測器は、下流の記述品質を維持するのに十分な精度でなければならないが、スマートフォンの電力と計算予算の中で、デバイス上で実行するには十分軽量である必要がある。
我々はEgoGazeLiteでこの問題に対処する。
2つのMLLM、3つの自動測定値、および2つのLSM判定値で、予測された解凍作物は、地中解凍作物と有意な差は示さなかった。
全10例で等価性が確認されている。
EgoGazeLiteは15.7Mパラメータ、6.71GFLOPsでこれを達成し、コンシューマーアクセラレータハードウェア上で、リアルタイム(21.6ms/frame)で全ガゼ・アンド・クロップパイプラインを稼働させる。
これらの結果と合わせて、MLLMを用いたトークン効率、視線条件付き自我中心型ビデオ理解のための視線追跡ハードウェアの必要性を排除した。
関連論文リスト
- Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory [43.2606051811564]
本稿では,反射的かつ軽量な映像理解のためのマルチモーダルエージェントフレームワークLight-Omniを紹介する。
これは2つのコンテキスト状態を通じて実現され、必要なコンテキストを1つのフォワードパスで即座に構築する。
実験では、平均2.4%の精度向上、12.1$times$ Speedup、2.6$times$ GPUメモリ効率の向上でM3-Agentを上回っている。
論文 参考訳（メタデータ） (2026-07-06T18:00:06Z) - LiteFrame: Efficient Vision Encoders Unlock Frame Scaling in Video LLMs [90.77662862634509]
LiteFrameは、ビデオ大言語モデルのための強力な、しかし非常に効率的なバックボーンである。
LiteFrameはエンドツーエンドのレイテンシを35%削減し、8$times$より多くのフレームを処理する。
計算予算の固定化により,より長めの映像理解を解き明かす可能性を示した。
論文 参考訳（メタデータ） (2026-05-17T05:02:52Z) - GazeQwen: Lightweight Gaze-Conditioned LLM Modulation for Streaming Video Understanding [11.055155778097033]
現在のマルチモーダル大言語モデル(MLLM)は、視線情報をビデオ理解に効果的に利用できない。
本稿では,オープンソースのMLLMに隠れ状態変調による視認性を持たせるパラメータ効率のよい手法であるGazeQwenを紹介する。
論文 参考訳（メタデータ） (2026-03-26T19:03:49Z) - Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing [112.56180129013138]
AutoGazeは、ViTやMLLMで処理される前にパッチを削除する軽量モジュールである。
ユーザが指定したエラー閾値内でビデオを再構成できる最小限のマルチスケールパッチを自動回帰的に選択する。
ビジュアルトークンを4倍から100倍に減らし、ViTとMLLMを最大19倍に高速化し、1Kフレームの4K解像度ビデオにMLLMをスケールできるようにする。
論文 参考訳（メタデータ） (2026-03-12T17:58:52Z) - Free-MoRef: Instantly Multiplexing Context Perception Capabilities of Video-MLLMs within Single Inference [88.57742986765238]
Free-MoRefは、ビデオMLLMのコンテキスト認識能力を多重化するトレーニング不要のアプローチである。
実験によると、Free-MoRefは1つのA100 GPUで圧縮することなく、2$times$から8$times$の入力フレームを完全に認識できる。
論文 参考訳（メタデータ） (2025-08-04T07:31:10Z) - Video-XL-2: Towards Very Long-Video Understanding Through Task-Aware KV Sparsification [9.615466029246694]
Video-XL-2は、タスク対応KVスペーシングに基づく長時間ビデオ理解に優れたコスト効率を提供する新しいMLLMである。
NVIDIA A100(80GB)のGPUで1万フレーム以上を処理でき、数千フレームをほんの数秒で処理できる。
論文 参考訳（メタデータ） (2025-06-24T01:19:56Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳（メタデータ） (2025-02-02T13:10:06Z) - Look Every Frame All at Once: Video-Ma$^2$mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing [52.050036778325094]
Video-Ma$2$mbaは、Mamba-2フレームワークにステートスペースモデル(SSM)を組み込んだ新しいアーキテクチャである。
本手法は,標準勾配チェックポイントに比べてメモリフットプリントを大幅に削減する。
時間的ダイナミクスの詳細なキャプチャーを維持することで、長いビデオ理解タスクにおける応答の精度と関連性を改善することができる。
論文 参考訳（メタデータ） (2024-11-29T04:12:13Z) - Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding [25.61734041983714]
Video-XLはMLLM固有のキー値スカラー化能力を活用して視覚入力を凝縮する新しい手法である。
ビデオXLの有効性は3つの側面から検証される。第一に、より優れた長ビデオ理解能力を実現し、同等の大きさの最先端モデルよりも優れる。
論文 参考訳（メタデータ） (2024-09-22T15:13:31Z) - VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。
提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
論文 参考訳（メタデータ） (2024-08-29T17:21:58Z) - VoCo-LLaMA: Towards Vision Compression with Large Language Models [31.398537194299752]
VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。
LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。
提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
論文 参考訳（メタデータ） (2024-06-18T05:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。