論文の概要: Can Vision-Language Models Analyze Human-Centered Video? Mapping Model Capabilities and Human-AI Collaborative Workflows

• arxiv url: http://arxiv.org/abs/2609.27327v1
• Date: Wed, 23 Sep 2026 04:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.867717
• Title: Can Vision-Language Models Analyze Human-Centered Video? Mapping Model Capabilities and Human-AI Collaborative Workflows
• Title（参考訳）: ビジョン・ランゲージ・モデルは人間中心映像を解析できるか? : モデル能力と人間-AI協調ワークフローのマッピング
• Abstract要約: ビデオは人間の行動、相互作用、配置状況の豊富な記録を提供する。 視覚言語モデル(VLM)は、ビデオを分析する能力が増すにつれて、従来の人間中心のプロセスを自動化する機会を提供する。 VLMはいつ、人間中心の動画を独立して分析できるのか?
• 参考スコア（独自算出の注目度）: 12.787130415014275
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video provides a rich record of human behavior, interaction, and situated contexts, offering important evidence for understanding people and conducting human-centered research. As vision-language models (VLMs) become increasingly capable of analyzing video, they offer opportunities to automate this traditionally human-intensive process. Yet a central question remains: when can VLMs analyze human-centered video independently, and when does reliable analysis still require human involvement? To address this question, we first characterize video analysis practices in human-centered research. We systematically analyze all 1,702 CHI 2026 full papers and identify 125 that annotate videos. Through iterative coding, we derive a five-dimensional taxonomy spanning analytic purpose, viewpoint, phenomenon, reasoning requirement, and annotation authority. Grounded in recurring annotation tasks captured by this taxonomy, we construct a benchmark of 15 representative tasks from open datasets to map the capabilities and limitations of a general-purpose VLM. We examine the division of labor between humans and VLMs by comparing three annotation workflows: VLM alone, human alone, and human verification of VLM outputs. Across tasks, VLM-alone annotation approaches human accuracy on average (HNS = 97.0, where 100 denotes human-alone performance), demonstrating substantial potential to automate human-centered video analysis. Human verification achieves the highest accuracy (HNS = 121.5) while reducing human annotation time by 48.9% and monetary cost by 31.3%-44.5% relative to human-alone annotation. Our findings connect real-world human-centered video analysis tasks and current VLM capabilities, and clarify how human-AI collaboration can make VLM-assisted analysis reliable and efficient.
• Abstract（参考訳）: ビデオは人間の行動、相互作用、位置の文脈の豊富な記録を提供し、人々を理解し、人間中心の研究を行うための重要な証拠を提供する。 視覚言語モデル(VLM)は、ビデオを分析する能力が増すにつれて、従来の人間中心のプロセスを自動化する機会を提供する。 VLMはいつ、人間中心の動画を独立して分析できるのか? この問題に対処するために、人間中心の研究において、まずビデオ分析の実践を特徴付ける。 我々は、1,702 CHI 2026全紙を体系的に分析し、ビデオに注釈をつける125のビデオを同定した。 反復符号化により、分析目的、視点、現象、推論要件、アノテーションの権威にまたがる5次元の分類法を導出する。 そこで本研究では,この分類法により得られたアノテーションタスクに基づいて,オープンデータセットからの15の代表的なタスクのベンチマークを構築し,汎用VLMの機能と限界をマッピングする。 本稿では,VLM単独,人間単独,VLM出力の検証という3つのアノテーションワークフローを比較して,人間とVLM間の労働の分担について検討する。 タスク全体にわたって、VLM-aloneアノテーションは平均的な人間の精度(HNS = 97.0)にアプローチし、人間中心のビデオ分析を自動化する可能性を示す。 人間の検証は高い精度(HNS = 121.5)を達成し、人間のアノテーションの時間を48.9%削減し、金銭コストを31.3%-44.5%削減した。 我々の研究は、実世界の人間中心のビデオ分析タスクと現在のVLM能力とを結びつけ、人間とAIのコラボレーションがVLM支援分析の信頼性と効率をいかに高めるかを明らかにする。

関連論文リスト

• HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence [82.1284258781622]
  視覚知能は、視覚世界を理解し、解釈し、合成しようとする。 HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-27T01:43:47Z)
• Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
  テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。 我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。 RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-08-26T17:59:34Z)
• HumanNet: Scaling Human-centric Video Learning to One Million Hours [18.004001748422407]
  我々は、人間中心のビデオコーパスであるHumanNetを紹介します。 HumanNetは、一対一の視点と三対一の視点の両方にまたがり、きめ細かい活動、人間とオブジェクトの相互作用、ツールの使用、長期の振る舞いをカバーしている。 生のビデオ以外に、データセットは、キャプション、モーション記述、手と体に関する信号など、インタラクション中心のアノテーションを提供する。
  論文  参考訳（メタデータ） (2026-05-07T15:21:58Z)
• Emergence of Human to Robot Transfer in Vision-Language-Action Models [88.76648919814771]
  VLA(Vision-Language-action)モデルは、幅広いオープンワールドの一般化を可能にするが、大規模で多様なデータセットを必要とする。 VLAが十分なシーン、タスク、実施状況で事前訓練された後に、人間とロボットの移動が出現することを示す。
  論文  参考訳（メタデータ） (2025-12-27T00:13:11Z)
• Can you SPLICE it together? A Human Curated Benchmark for Probing Visual Reasoning in VLMs [3.6431181688181504]
  SPLICEは、複数の次元にわたるイベントベースの推論を調査するために設計されたベンチマークである。 その中には、12と180のサブカテゴリ(スポーツ、エンジニアリング、家事など)にまたがる3,381本のビデオが含まれている。 我々は、これらのクリップをコヒーレントなイベントシーケンスに再構成する作業において、人間の参加者と最先端の視覚言語モデル(VLM)の両方を評価する。
  論文  参考訳（メタデータ） (2025-09-29T11:50:18Z)
• Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
  本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。 この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。 我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-08-06T17:46:23Z)
• HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding [120.84817886550765]
  MLLM(Multimodal Large Language Models)は、画像とビデオの両方を含む視覚的理解タスクにおいて、大きな進歩を見せている。 既存の人間中心のベンチマークは、主にビデオ生成の品質と行動認識を強調し、人間中心のシナリオに必要な知覚と認知の能力を見落としている。 我々は,人間中心のビデオ理解におけるMLLMのより総合的な評価を提供するために,厳格にキュレートされたベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-07-07T11:52:24Z)
• HumanVLM: Foundation for Human-Scene Vision-Language Model [3.583459930633303]
  ヒューマンシーンの視覚言語タスクは、多様な社会アプリケーションでますます普及している。 本研究では,HumanVLM(HumanVLM)というドメイン固有な大規模視覚言語モデルを提案する。 実験では, 様々な下流タスクにまたがってヒューマンVLMを評価し, 総合的な性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-11-05T12:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。