論文の概要: Scribby: A Multi-Level LLM Framework for Semantic Video Analysis
- arxiv url: http://arxiv.org/abs/2606.14762v1
- Date: Mon, 08 Jun 2026 14:41:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:32.055605
- Title: Scribby: A Multi-Level LLM Framework for Semantic Video Analysis
- Title（参考訳）: Scribby: セマンティックビデオ分析のためのマルチレベルLLMフレームワーク
- Authors: Julian Abelarde, Hugo Garrido-Lestache Belinchon,
- Abstract要約: 本稿では,マクロレベルの理解とマイクロレベルのセマンティック分析のバランスをとるLLMに基づく動画要約フレームワークを提案する。
各評価プロンプトにグローバル転写解析と隣接文情報の両方を組み込むことにより、文レベルの処理中に文脈連続性を保持する。
このフレームワークは、関連性ベースのヒートマップを通じて意味的チャンキングと意味的マッチングを可視化するビデオ解析ツールの基礎を確立する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: As video content continues to expand across educational platforms, recorded lectures, and live-streamed entertainment, the need for efficient and structured analysis of long-form footage has increased \cite{1}. Although many existing AI programs provide high-level video summaries based on AI-generated transcripts \cite{2,3,4,5}, these approaches are often limited to coarse overviews and lack detailed analysis of a video's structure, thematic progression, and semantic relationships, all of which are required for comprehensive video analysis. This paper proposes an LLM-based video summarization framework that balances macro-level comprehension with micro-level semantic analysis \cite{6,12,13}. The first stage of the process indexes the video at a micro level by (1) analyzing the full transcript, (2) analyzing individual transcript sentences, and (3) grouping these sentences by semantic similarity using an LLM as a judge \cite{6,13}. Contextual continuity is retained during sentence-level processing by incorporating both the global transcript analysis and adjacent sentence information into each evaluation prompt. This framework establishes a foundation for video analysis tools that visualize semantic chunking and semantic matching through relevance-based heatmaps. Limitations and future expansions of the framework are also discussed.
- Abstract（参考訳）: ビデオコンテンツが教育プラットフォーム、講義記録、ライブストリーミングエンターテイメントに広がるにつれ、長編映像の効率的かつ構造化された分析の必要性が高まっている。
既存のAIプログラムの多くは、AI生成した転写文字 \cite{2,3,4,5} に基づくハイレベルなビデオ要約を提供しているが、これらのアプローチは、大まかな概要に制限されることが多く、ビデオの構造、テーマの進行、セマンティックな関係に関する詳細な分析が欠如している。
本稿では,マクロレベルの理解とマイクロレベルのセマンティック分析のバランスをとるLLMに基づくビデオ要約フレームワークを提案する。
プロセスの第1段階は、(1)全転写文の分析、(2)個々の転写文の分析、(3)LCMを審査員として用いた意味的類似性によるグループ化により、動画をマイクロレベルにインデックスする。
各評価プロンプトにグローバル転写解析と隣接文情報の両方を組み込むことにより、文レベルの処理中に文脈連続性を保持する。
このフレームワークは、関連性ベースのヒートマップを通じて意味的チャンキングと意味的マッチングを可視化するビデオ解析ツールの基礎を確立する。
フレームワークの限界と今後の拡張についても論じる。
関連論文リスト
- OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。
textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
論文 参考訳（メタデータ） (2026-06-12T17:59:55Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - Less is More: Label-Guided Summarization of Procedural and Instructional Videos [21.13311741987469]
本稿では,3段階のフレームワークであるPRISMを提案する。
大規模言語モデル(LLM)を用いた適応型ビジュアルサンプリング、ラベル駆動アンカー、文脈検証について分析する。
提案手法はプロシージャとドメイン固有のビデオタスクにまたがって一般化し,セマンティックアライメントと精度の両面で高い性能を実現する。
論文 参考訳（メタデータ） (2026-01-18T03:41:48Z) - LUST: A Multi-Modal Framework with Hierarchical LLM-based Scoring for Learned Thematic Significance Tracking in Multimedia Content [0.0]
Learned User Significance Tracker (LUST)は、ビデオコンテンツを分析し、そのセグメントの主題的関連性を定量化するように設計されたフレームワークである。
中心となるイノベーションは、Large Language Models (LLMs) を用いた階層的で2段階の関連性スコアリングメカニズムにある。
LUSTフレームワークは、ユーザ定義の重要度を微妙に認識し、視覚化された関連スコアと包括的な分析ログを備えた注釈付き動画を出力することを目的としている。
論文 参考訳（メタデータ） (2025-08-06T11:48:51Z) - Dense Video Captioning using Graph-based Sentence Summarization [80.52481563888459]
本稿では,高密度映像キャプションのためのグラフベースの分割・要約フレームワークを提案する。
本稿では,要約の段階に着目し,要約のための意味語間の関係を効果的に活用する枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-25T16:23:43Z) - VidText: Towards Comprehensive Evaluation for Video Text Understanding [56.121054697977115]
VidTextは、ビデオテキスト理解の総合的かつ詳細な評価のためのベンチマークである。
さまざまな現実世界のシナリオをカバーし、多言語コンテンツをサポートする。
ビデオレベル、クリップレベル、インスタンスレベルのタスクを備えた階層的評価フレームワークを導入している。
論文 参考訳（メタデータ） (2025-05-28T19:39:35Z) - Video Summarization with Large Language Models [41.51242348081083]
本稿では,近年のLarge Language Models (LLM) の機能を活用したビデオ要約フレームワークを提案する。
LLM-based Video Summarization (LLMVS) と呼ばれる我々の手法は、ビデオフレームをMulti-Modal Large Language Model (MLLM) を用いて一連のキャプションに変換する。
実験の結果,提案手法は標準ベンチマークにおける既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-04-15T13:56:14Z) - Language-Guided Self-Supervised Video Summarization Using Text Semantic Matching Considering the Diversity of the Video [22.60291297308379]
本研究では,映像要約タスクを自然言語処理(NLP)タスクに変換する可能性について検討する。
本手法は,ランク相関係数のSumMeデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2024-05-14T18:07:04Z) - Hierarchical Video-Moment Retrieval and Step-Captioning [68.4859260853096]
HiRESTは、インストラクショナルビデオデータセットから3.4Kのテキストビデオペアで構成されている。
我々の階層的ベンチマークは、ビデオ検索、モーメント検索、2つの新しいモーメントセグメンテーション、ステップキャプションタスクからなる。
論文 参考訳（メタデータ） (2023-03-29T02:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。