論文の概要: GazeLens for Efficient Egocentric Video Question Answering with Simple Gaze-Driven Adaptive Token Reduction

• arxiv url: http://arxiv.org/abs/2610.28502v1
• Date: Tue, 20 Oct 2026 16:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.925082
• Title: GazeLens for Efficient Egocentric Video Question Answering with Simple Gaze-Driven Adaptive Token Reduction
• Title（参考訳）: GazeLens for Egocentric Video Question Answering with Simple Gaze-Driven Adaptive Token Reduction (特集:情報ネットワーク)
• Abstract要約: フレーム選択と視線と質問誘導トークンの削減を組み合わせたGazeLensを提案する。 StreamGazeでは、GazeLensは評価されたフルグリッドおよびトークン推論ベースラインよりも高いマクロとマイクロ精度を達成する。
• 参考スコア（独自算出の注目度）: 14.73259020146765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Smart glasses can help users understand their activities and surroundings, but small vision-language models must preserve useful evidence within limited computation. This is difficult because redundant frames consume the visual budget, while aggressive spatial compression can discard relevant details. Although gaze identifies the wearer's focus, the question may require evidence from the surrounding scene. To address these constraints, we propose GazeLens, which combines frame selection with gaze- and question-guided token reduction. First, HOG transitions and image sharpness select frames before visual encoding. For each selected frame, Gaussian pooling then forms gaze-focused and complementary summaries. Because their relevance depends on the question, a lightweight gate blends them into a primary token. Together with a global scene token, this retains both focused and contextual summaries within two tokens per frame. On StreamGaze, GazeLens achieves higher macro and micro accuracy than the evaluated full-grid and token-reduction baselines, with lower input-forward FLOPs than the shared-backbone token-reduction baselines.
• Abstract（参考訳）: スマートグラスは、ユーザが自分の活動や周囲を理解するのに役立つが、小さな視覚言語モデルは、限られた計算内で有用な証拠を保持する必要がある。 これは、余分なフレームが視覚的予算を消費するのに対して、アグレッシブな空間圧縮は関連する詳細を排除できるため、難しい。 視線は着用者の焦点を識別するが、周囲のシーンから証拠を必要とする可能性がある。 これらの制約に対処するために、フレーム選択と視線と質問誘導トークンの削減を組み合わせたGazeLensを提案する。 まず、HOGトランジションと画像のシャープネスは、視覚符号化の前にフレームを選択する。 選択されたフレームごとに、ガウスプールは視線中心で補足的な要約を形成する。 それらの関連性は問題に依存するため、軽量ゲートはそれらを一次トークンに混ぜる。 グローバルなシーントークンとともに、フォーカスとコンテキストの要約の両方をフレーム毎に2つのトークンに保持する。 StreamGazeでは、GazeLensは評価されたフルグリッドおよびトークン推論ベースラインよりも高いマクロとマイクロ精度を実現し、共有バックボーントークン推論ベースラインよりも低い入力フォワードFLOPを実現している。

関連論文リスト

• Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
  ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。 Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
  論文  参考訳（メタデータ） (2026-10-08T14:42:57Z)
• PARCEL: Pool-Anchored Resampling with Conditioned Elastic Queries for Efficient Vision-Language Understanding [88.17174909130188]
  LVLM(Large Vision-Language Models)は、視覚的な入力を高密度なトークンシーケンスにマッピングし、推論に二次的な計算ボトルネックを与える。 特徴抽出の労力を動的に分配する視覚トークン化アーキテクチャであるPARCELを紹介する。 PARCELは、既存のマトリシカベースラインを「一度にトレーニングし、どこにでもデプロイする」パラダイムを保ちながら、視覚障害者の予算で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-28T15:57:31Z)
• OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning [24.164883144694656]
  OccamTokenは、絶対トークンランキングを登録された相対的エビデンステストに置き換える、トレーニング不要のフレームワークである。 我々はOccamTokenが、追加のトレーニングなしで精度と効率のトレードオフを継続的に改善していることを示します。
  論文  参考訳（メタデータ） (2026-05-28T09:20:47Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
  既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。 QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。 クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
  論文  参考訳（メタデータ） (2025-03-11T17:59:57Z)
• Let Me Finish My Sentence: Video Temporal Grounding with Holistic Text Understanding [17.110563457914324]
  Video Temporal Groundingは、テキストクエリにマッチするビデオクリップ内の視覚的フレームを特定することを目的としている。 VTGの最近の研究は、視覚フレームとテキストクエリを個々のトークンシーケンスとして関連付けるために、クロスアテンションを使用している。 本稿では,全体的テキスト情報を含む視覚的フレームレベルゲート機構を提案する。
  論文  参考訳（メタデータ） (2024-10-17T14:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。