論文の概要: OpenHome: From Perception to Insight in Smart-Home Camera Videos

• arxiv url: http://arxiv.org/abs/2610.31986v1
• Date: Thu, 22 Oct 2026 23:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.309128
• Title: OpenHome: From Perception to Insight in Smart-Home Camera Videos
• Title（参考訳）: OpenHome:スマートホームカメラビデオの認識から洞察へ
• Abstract要約: 我々は、スマートホームビデオ理解を評価するための、視覚のみの4つのオプション多重選択ベンチマークであるOpenHomeを紹介した。 1,118の現実世界のビデオクリップに254の質問があり、10のタスクを3つの能力レベルにまとめている。 このデータセットに基づいて,タスク設計,データパイプライン,評価プロトコルを記述し,32個のクローズドソースおよびオープンウェイトVLMの成果を報告する。
• 参考スコア（独自算出の注目度）: 10.723009101638928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision language models (VLMs) have been increasingly adopted in consumer smart-home camera systems to interpret recorded videos and provide insights. However, video clips captured from smart-home cameras are different from curated web videos dominating existing VLM benchmarks. Smart-home video clips often do not contain subtitles or narration and are captured from different viewing angles, under various lighting conditions, and in diverse scenarios. However, the capabilities of the model in this domain, under sparse visual signals and limited context, are not fully assessed by existing VLM benchmarks. To close this gap, we introduce OpenHome, a visual-only, four-option multiple-choice benchmark for evaluating smart-home video understanding. It contains 2,254 questions on 1,118 real-world video clips and organizes 10 tasks into three capability levels. Perception evaluates visible content, Reasoning evaluates causal, spatial, and temporal relationships, and Insight evaluates subject intent, supporting evidence and appropriate homeowner responses. Based on the dataset, we describe the task design, data pipeline and evaluation protocol, and report results for 32 closed-source and open-weight VLMs. The best model, Gemini 4 Argon, reaches 81.2% overall accuracy. Frontier closed-source models outperform open-weight models on every level. The best closed-source model leads the best open-weight model by 16.3% on Perception, 22.4% on Reasoning and 37.4% on Insight.
• Abstract（参考訳）: ヴィジュアル言語モデル(VLM)は、録音されたビデオの解釈や洞察を提供するコンシューマ向けスマートホームカメラシステムにおいて、ますます採用されている。 しかし、スマートホームカメラから撮影したビデオクリップは、既存のVLMベンチマークを支配しているキュレートされたウェブビデオとは異なる。 スマートホームビデオクリップは、字幕やナレーションを含まないことが多く、様々な照明条件下で様々な角度から撮影される。 しかし、この領域におけるモデルの性能は、希少な視覚信号と限られた文脈下では、既存のVLMベンチマークでは十分に評価されていない。 このギャップを埋めるために、私たちはスマートホームビデオ理解を評価するために、視覚のみの4オプションの多重選択ベンチマークであるOpenHomeを紹介した。 1,118の現実世界のビデオクリップに254の質問があり、10のタスクを3つの能力レベルにまとめている。 知覚は目に見える内容を評価し、推論は因果関係、空間的関係、時間的関係を評価し、Insightは主観的意図を評価し、証拠と適切な住宅所有者の反応を支持する。 このデータセットに基づいて,タスク設計,データパイプライン,評価プロトコルを記述し,32個のクローズドソースおよびオープンウェイトVLMの成果を報告する。 最も優れたモデルであるGemini 4 Argonは81.2%の精度に達した。 Frontierのクローズドソースモデルは、あらゆるレベルでオープンウェイトモデルよりも優れています。 最高のクローズドソースモデルは、Perceptionで16.3%、Reasoningで22.4%、Insightで37.4%である。

関連論文リスト

• Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding [73.52241177491655]
  Molmo2はビデオ言語モデル(VLM)の新たなファミリーであり、オープンソースモデルの中でも最先端の製品である。 単一画像、マルチイメージ、ビデオタスクにおけるポイント駆動グラウンドリングにおいて、例外的な新機能を示す。 私たちの最高の8Bモデルは、ショートビデオ、カウント、キャプションでオープンウェイトとデータモデルのクラスで他よりも優れており、ロングビデオでは競争力があります。
  論文  参考訳（メタデータ） (2026-01-15T17:27:44Z)
• MMSI-Video-Bench: A Holistic Benchmark for Video-Based Spatial Intelligence [61.065486539729875]
  MMSI-Video-Bench(MMSI-Video-Bench)は、MLLMにおけるビデオベースの空間知能の完全な人為的なベンチマークである。 4段階のフレームワークである知覚、計画、予測、クロスビデオ推論を運用しており、1,278のクリップで1,106の質問を下敷きにしている。 オープンソースとプロプライエタリなMLLMを25種類評価し,AIギャップが顕著であることを明らかにした。
  論文  参考訳（メタデータ） (2025-12-11T17:57:24Z)
• Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis [120.67048724315619]
  Video-MMEは、ビデオ解析におけるMLLMの完全なマルチモード評価ベンチマークである。 我々は,GPT-4シリーズやGemini 1.5 Pro,オープンソース画像モデルなど,最先端のMLLMを幅広く評価した。 我々の実験によると、Gemini 1.5 Proは最も優れた商用モデルであり、オープンソースモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-31T17:59:47Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。