論文の概要: How Far Can Frozen Vision-Language Models Go on Event Data? A Training-Free Study on EventBench
- arxiv url: http://arxiv.org/abs/2611.15756v1
- Date: Wed, 11 Nov 2026 17:35:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.204842
- Title: How Far Can Frozen Vision-Language Models Go on Event Data? A Training-Free Study on EventBench
- Title(参考訳): 凍結型ビジョンランゲージモデルがイベントデータにどこまで到達できるか?EventBenchのトレーニングフリースタディ
- Abstract要約: EBMV @ ECCV 2026 チャレンジ "Event Stream Understanding with EventBench" のためのトレーニングフリーシステムを提案する。
5つのイベントカメラ理解タスクにおける視覚言語モデルの評価を行った。
このシステムは2,084の質問に対して62.28%の精度に達した。
- 参考スコア(独自算出の注目度): 3.0778023655689144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a training-free system for the EBMV @ ECCV 2026 challenge "Event Stream Understanding with EventBench" (General Understanding track), which evaluates vision-language models on five event-camera understanding tasks. We use none of the challenge's training data: our goal is to measure how far off-the-shelf, RGB-pretrained models can go on event data through representation and prompting alone. For four of the five categories (gesture recognition, detailed understanding, causal reasoning, and event OCR) we render event bins as red/ON, blue/OFF frames, select a category-specific subset of bins, stitch them into a single grid image, and query the same frozen Qwen3.5 9B vision-language model with a category-specific prompt for all four tasks. The fifth category, action recognition, feeds every bin directly into the organizers' EventGPT-Plus-2B. The system reaches 62.28% overall accuracy across 2,084 test questions (rank 9/27), led by action recognition and causal reasoning (80.27%, 77.22%) and limited most by gesture recognition and event OCR (54.70%, 34.57%). We visualize test samples from every category together with the exact images the model receives, score six alternative representations against the evaluation server, and analyze the full test set post hoc. That analysis shows that our bounding-box crop almost never tightened around content, so event OCR text reached the model at roughly one fifth of its horizontal resolution, and that detailed-understanding predictions are skewed toward the first two answer options.
- Abstract(参考訳): EBMV @ ECCV 2026 チャレンジ "Event Stream Understanding with EventBench" (General Understanding Track) では,5つのイベントカメラ理解タスクで視覚言語モデルを評価する。
私たちの目標は、表現とプロンプトだけで、RGBで事前訓練されたモデルがイベントデータにどの程度到達できるかを測定することです。
5つのカテゴリのうち4つ(身振り認識、詳細な理解、因果推論、イベントOCR)では、イベントビンを赤/ON、青/OFFフレームとして描画し、カテゴリ固有のビンのサブセットを選択し、それらを単一のグリッドイメージに縫い付け、同じ凍結したQwen3.5 9B視覚言語モデルに4つのタスクすべてに対してカテゴリ固有のプロンプトで問い合わせる。
第5のカテゴリであるアクション認識は、すべてのビンをオーガナイザのEventGPT-Plus-2Bに直接供給する。
システム全体の精度は2,084件(9/27件)で62.28%に達し、行動認識と因果推論(80.27%、77.22%)に導かれ、ジェスチャー認識とイベントOCR(54.70%、34.57%)に制限されている。
モデルが受信した正確な画像とともに、各カテゴリからのテストサンプルを可視化し、評価サーバに対して6つの代替表現をスコアし、完全なテストセットのポストホックを解析する。
そのため、OCRのテキストは水平解像度の約5分の1でモデルに到達し、より詳細な予測は最初の2つの回答オプションに向けられている。
関連論文リスト
- Beyond the Current Scene: Event-Referential Grasping with Active View Selection [58.13862796903706]
ゼロショットロボット把握システムであるBeyondSCeを紹介する。
システムは、要求されたオブジェクトまたは部分を特定し、それを把握するためにローカライズする。
達成率76%、達成目標77%を達成している。
論文 参考訳(メタデータ) (2026-09-30T09:27:02Z) - Learning to Look Again: Loss-Gap Supervision for Free-form Crop Routing in Vision-Language Models [9.530053392873178]
視覚言語モデル(VLM)は、具体的な理由から多くの詳細中心の質問に失敗する。
より視覚的なトークンをクエリ毎に割り当てることによって、OCRやドキュメントケースが改善されるが、非差別的に費やされ、グローバルなコンテキストに依存するタスクを邪魔する可能性がある。
本稿では,視覚的再読解学習のためのフレームワークであるGapSightを提案する。
論文 参考訳(メタデータ) (2026-08-22T04:10:28Z) - StateSight: Benchmarking Latent Spatial-State Reconstruction in Vision-Language Models [0.5624504968545648]
我々は,立方体-ネット対面推論,閉立方体-towerカウント,隣接する連結成分カウントのベンチマークであるStateSightを紹介する。
各タスクファミリーには300の単一イメージプロンプトがあり、決定論的オラクルラベルと正確なマッチスコアがある。
OpenAI GPT-5.5はAPIモデルの識別子gpt-5.5を使用して、3つのタスクで59.3%、33.3%、28.3%の精度を達成した。
論文 参考訳(メタデータ) (2026-08-15T20:13:12Z) - ComplexityWorld: Benchmarking Vision-Language Models on Verifiable Visual Decision Making [30.869819258358405]
視覚言語モデル(VLM)は、視覚知覚を急速に進歩させ、画像に依存する現実的なタスクをますますサポートしている。
39のドメインにインスパイアされた視覚世界と29のカテゴリーにわたる390のタスクのベンチマークであるCompleXITYWORLDを紹介する。
論文 参考訳(メタデータ) (2026-08-05T10:05:41Z) - Beyond 'Templates': Category-Agnostic Object Pose, Size, and Shape Estimation from a Single View [69.6117755984012]
物体の6Dポーズ、サイズ、形状を視覚入力から推定することは、コンピュータビジョンの基本的な問題である。
一つのRGB-D画像から6次元のポーズ,サイズ,密な形状を同時に予測する統合されたカテゴリ非依存フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-13T17:49:15Z) - LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。
このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。
我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
論文 参考訳(メタデータ) (2025-05-21T15:06:59Z) - Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。
イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
論文 参考訳(メタデータ) (2024-03-05T01:46:50Z) - Solution for SMART-101 Challenge of ICCV Multi-modal Algorithmic
Reasoning Task 2023 [13.326745559876558]
本稿では,マルチモーダルなアルゴリズム推論タスクSMART-101 Challengeを提案する。
この課題は、視覚言語パズルの解法におけるニューラルネットワークの抽象化、推論、一般化能力を評価する。
パズル分割構成では、検証セットで26.5、プライベートテストセットで24.30の精度スコアを得た。
論文 参考訳(メタデータ) (2023-10-10T09:12:27Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳(メタデータ) (2023-05-23T07:54:37Z) - Could Giant Pretrained Image Models Extract Universal Representations? [94.97056702288317]
本稿では,多種多様なコンピュータビジョンタスクに適用した凍結事前学習モデルについて述べる。
私たちの研究は、この凍結した設定にどのような事前学習タスクが最適か、凍結した設定を様々な下流タスクに柔軟にする方法、より大きなモデルサイズの影響について、質問に答えています。
論文 参考訳(メタデータ) (2022-11-03T17:57:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。