論文の概要: Large Language Models for Video Surveillance Applications

• arxiv url: http://arxiv.org/abs/2501.02850v1
• Date: Mon, 06 Jan 2025 08:57:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:05.337930
• Title: Large Language Models for Video Surveillance Applications
• Title（参考訳）: ビデオサーベイランス応用のための大規模言語モデル
• Authors: Ulindu De Silva, Leon Fernando, Billy Lau Pik Lik, Zann Koh, Sam Conrad Joyce, Belinda Yuen, Chau Yuen,
• Abstract要約: 本稿では,ジェネレーティブ・人工知能(GenAI)を用いた視覚言語モデルによる概念実証について述べる。 本ツールでは,ユーザ定義クエリに基づいて,カスタマイズしたテキスト要約を生成する。
• 参考スコア（独自算出の注目度）: 11.297664744056735
• License:
• Abstract: The rapid increase in video content production has resulted in enormous data volumes, creating significant challenges for efficient analysis and resource management. To address this, robust video analysis tools are essential. This paper presents an innovative proof of concept using Generative Artificial Intelligence (GenAI) in the form of Vision Language Models to enhance the downstream video analysis process. Our tool generates customized textual summaries based on user-defined queries, providing focused insights within extensive video datasets. Unlike traditional methods that offer generic summaries or limited action recognition, our approach utilizes Vision Language Models to extract relevant information, improving analysis precision and efficiency. The proposed method produces textual summaries from extensive CCTV footage, which can then be stored for an indefinite time in a very small storage space compared to videos, allowing users to quickly navigate and verify significant events without exhaustive manual review. Qualitative evaluations result in 80% and 70% accuracy in temporal and spatial quality and consistency of the pipeline respectively.
• Abstract（参考訳）: ビデオコンテンツ制作の急速な増加は膨大なデータ量をもたらし、効率的な分析と資源管理に重大な課題を生み出している。 これを解決するためには、堅牢なビデオ分析ツールが不可欠である。 本稿では、生成人工知能(GenAI)を視覚言語モデルとして用い、下流のビデオ解析プロセスを強化する革新的な概念実証を行う。 本ツールでは,ユーザ定義クエリに基づいて,カスタマイズしたテキスト要約を生成する。 一般的な要約や限られた行動認識を提供する従来の手法とは異なり,本手法では視覚言語モデルを用いて関連情報を抽出し,解析精度と効率を向上させる。 提案手法は、CCTV映像からテキスト要約を生成し、ビデオに比べて、非常に小さなストレージ空間で一定時間保存できるので、ユーザーは、手動による徹底的なレビューなしに、重要なイベントを素早くナビゲートし、検証することができる。 定性的評価により, パイプラインの時間的品質と空間的品質は80%, 70%の精度が得られた。

関連論文リスト

• SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
  本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。 87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。 本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
  論文  参考訳（メタデータ） (2024-11-25T08:04:47Z)
• Enhancing Video Summarization with Context Awareness [9.861215740353247]
  ビデオ要約は、ビデオの本質をキャプチャするテクニック、ショット、セグメントを選択することで、簡潔な要約を自動的に生成する。 ビデオ要約の重要性にもかかわらず、多様で代表的なデータセットが不足している。 本稿では,映像データ構造と情報を活用して情報要約を生成する教師なし手法を提案する。
  論文  参考訳（メタデータ） (2024-04-06T09:08:34Z)
• Scaling Up Video Summarization Pretraining with Large Language Models [73.74662411006426]
  本稿では,大規模ビデオ要約データセットを生成するための,自動化されたスケーラブルなパイプラインを提案する。 我々は既存のアプローチの限界を分析し、それらに効果的に対処する新しいビデオ要約モデルを提案する。 我々の研究は、プロが注釈付けした高品質の要約を持つ1200本の長編ビデオを含む新しいベンチマークデータセットも提示した。
  論文  参考訳（メタデータ） (2024-04-04T11:59:06Z)
• Leveraging Generative Language Models for Weakly Supervised Sentence Component Analysis in Video-Language Joint Learning [10.486585276898472]
  テキストデータの徹底的な理解は、マルチモーダルビデオ解析タスクの基本的な要素である。 目的タスクに応じて文成分の意義を理解することで,モデルの性能を高めることができると仮定する。 本稿では,コンポーネントの相対的重要性を計算し,映像言語タスクの改善に利用するために,弱教師付き重要度推定モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-10T02:03:51Z)
• Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models [81.84810348214113]
  ビデオベースの大規模言語モデル(Video-LLMs)が最近導入され、認識と理解の基本的な改善と多様なユーザからの問い合わせの両方をターゲットにしている。 このようなモデルの開発を導くため、堅牢で包括的な評価システムの構築が重要となる。 本稿では,ビデオLLMの評価に特化して設計されたツールキットとともに,新しい総合的なベンチマークであるtextitVideo-Benchを提案する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:58Z)
• Conditional Modeling Based Automatic Video Summarization [70.96973928590958]
  ビデオ要約の目的は、全体を伝えるのに必要な重要な情報を保持しながら、自動的にビデオを短縮することである。 映像要約法は視覚的連続性や多様性などの視覚的要因に依存しており、ビデオの内容を完全に理解するには不十分である。 映像要約への新たなアプローチは、人間が地上の真実のビデオ要約を作成する方法から得られる知見に基づいて提案されている。
  論文  参考訳（メタデータ） (2023-11-20T20:24:45Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• Video-Teller: Enhancing Cross-Modal Generation with Fusion and Decoupling [79.49128866877922]
  Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。 Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。 大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-08T03:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。