論文の概要: Towards Effective Long-Video Event Prediction via Multi-Level Event Semantics Mining

• arxiv url: http://arxiv.org/abs/2605.31069v1
• Date: Fri, 29 May 2026 09:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.516733
• Title: Towards Effective Long-Video Event Prediction via Multi-Level Event Semantics Mining
• Title（参考訳）: マルチレベルイベントセマンティックマイニングによる効果的なロングビデオイベント予測に向けて
• Abstract要約: 長ビデオイベント予測のためのマルチレベルイベントセマンティクスマイニングフレームワークであるVISTAを提案する。 当初、VISTAは文字中心の視覚的プロンプトを適用し、イベント関連の視覚的詳細を正確に抽出し、詳細レベルのセマンティクスを強化する。 その後、知識に富んだ反復的検索戦略を採用し、LLMが論理的に一貫性のあるイベントチェーンを段階的に構築するよう誘導する。 最終的に、VISTAは、将来指向の多様な提案を生成し、多段階の手がかりを統合し、堅牢で正確な予測を生成するために、人間のような提案を検索する戦略を採用する。
• 参考スコア（独自算出の注目度）: 10.37877709276133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately predicting future events is fundamental to content understanding and decision-making across various domains. While prior research has primarily focused on text or short-video scenarios, long-video event prediction, characterized by vast multimodal context and more complex narratives, remains underexplored. Meanwhile, although recent Long-Video Language Models (LVLMs), built on Large Language Models (LLMs) and Vision-Language Models (VLMs), have shown promise in long-video question answering and summarization, they struggle to generalize to event prediction, as they can neither precisely extract event-related details nor perform fine-grained analysis of event development. To address this gap, we propose VISTA, a multi-level event semantics mining framework for long-video event prediction. Initially, VISTA applies a character-centric visual prompt to precisely extract event-related visual details, enhancing detail-level semantics; subsequently, it employs a knowledge-enhanced iterative retrieval strategy, guiding the LLM to progressively construct logically coherent event chains, thereby improving event-level narratives; ultimately, VISTA adopts a human-like propose-then-retrieve strategy to generate diverse future-oriented proposals and integrate multi-level clues, producing robust and accurate predictions. Extensive experiments on real-world datasets validate the effectiveness of VISTA for long-video event prediction.
• Abstract（参考訳）: 将来の出来事を正確に予測することは、さまざまな領域にわたるコンテンツ理解と意思決定に不可欠である。 以前の研究では主にテキストやショートビデオのシナリオに焦点が当てられていたが、大規模なマルチモーダルな文脈とより複雑な物語を特徴とするロングビデオのイベント予測は未解決のままである。 一方,Long-Video Language Models (LVLMs) はLarge Language Models (LLMs) とVision-Language Models (VLMs) をベースとして構築されているが,イベント関連の詳細を正確に抽出したり,イベント発生のきめ細かな解析を行うことができないため,イベント予測への一般化に苦慮している。 このギャップに対処するため、長いビデオイベント予測のためのマルチレベルイベントセマンティクスマイニングフレームワークであるVISTAを提案する。 当初、VISTAは、イベント関連視覚的詳細を正確に抽出し、詳細レベルのセマンティクスを強化するために文字中心の視覚的プロンプトを適用し、その後、LLMに論理的に一貫性のあるイベントチェーンを段階的に構築させ、イベントレベルの物語を改善するよう誘導する知識強化反復的検索戦略を採用し、最終的に、VISTAは、多種多様な将来指向の提案を生成し、多段階の手がかりを統合し、堅牢で正確な予測を生み出すために、人間のようなプロポーザル-テーマ-検索戦略を採用する。 実世界のデータセットに対する大規模な実験により、VISTAの長期ビデオイベント予測の有効性が検証された。

関連論文リスト

• Video-CoE: Reinforcing Video Event Prediction via Chain of Events [20.58429395226725]
  VEPは、ビデオのきめ細かい時間的モデリングを実行し、ビデオと将来のイベントの間の論理的関係を確立する必要がある。 textbfChain textbfEvents (textbfCoE)パラダイム。 コードとモデルも間もなくリリースされる予定だ。
  論文  参考訳（メタデータ） (2026-03-16T07:38:15Z)
• LET-US: Long Event-Text Understanding of Scenes [23.376693904132786]
  イベントカメラは、マイクロ秒レベルの時間分解能を備えたスパースで非同期なデータとしてイベントストリームを出力する。 長いイベントストリーム・テキスト理解のためのフレームワークであるLET-USを紹介する。 適応圧縮機構を用いて、重要な視覚的詳細を保存しながら入力イベントの量を削減する。
  論文  参考訳（メタデータ） (2025-08-10T16:02:41Z)
• Vision and Intention Boost Large Language Model in Long-Term Action Anticipation [39.66216219048517]
  長期的な行動予測は、長期にわたる将来の行動を予測することを目的としている。 近年の研究では、大きな言語モデル(LLM)を利用して、深刻な情報損失を被るテキストベースの入力を活用している。 本研究では,視覚データのリッチなセマンティック情報を完全に活用する,新しいインテンシブ・コンディション・ビジョン・ランゲージ(ICVL)モデルを提案する。
  論文  参考訳（メタデータ） (2025-05-03T06:33:54Z)
• EventVL: Understand Event Streams via Multimodal Large Language Model [29.23525787969373]
  明示的意味理解のためのイベントベースMLLMフレームワークであるEventVLを提案する。 具体的には、異なるモダリティセマンティクスを接続するためにデータギャップをブリッジするために、まず大きなイベントイメージ/ビデオテキストデータセットに注釈を付ける。 よりコンパクトなセマンティック空間を促進するために、イベントのスパースなセマンティック空間を改善するために動的セマンティックアライメントが導入される。
  論文  参考訳（メタデータ） (2025-01-23T14:37:21Z)
• EventGPT: Event Stream Understanding with Multimodal Large Language Models [59.65010502000344]
  イベントカメラは、視覚情報を非同期なピクセル変更ストリームとして記録し、不満足な照明や高ダイナミックな条件下でのシーン認識に優れる。 既存のマルチモーダル大言語モデル(MLLM)は、自然のRGBイメージに集中しており、イベントデータがより適合するシナリオでは失敗する。 イベントストリーム理解のための最初のMLLMであるEventGPTを紹介する。
  論文  参考訳（メタデータ） (2024-12-01T14:38:40Z)
• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• OpenEP: Open-Ended Future Event Prediction [57.63525290892786]
  我々はOpenEP(Open-Ended Future Event Prediction Task)を導入し、現実のシナリオに合わせたフレキシブルで多様な予測を生成する。 質問構築には、場所、時間、イベント開発、イベント結果、イベント影響、イベント応答など、7つの視点から質問する。 結果構築のために,結果を含む自由形式のテキストを基礎的真理として収集し,意味論的に完全かつ詳細に富んだ結果を提供する。
  論文  参考訳（メタデータ） (2024-08-13T02:35:54Z)
• EA-VTR: Event-Aware Video-Text Retrieval [97.30850809266725]
  Event-Aware Video-Text Retrievalモデルは、優れたビデオイベント認識を通じて、強力なビデオテキスト検索能力を実現する。 EA-VTRはフレームレベルとビデオレベルの視覚表現を同時にエンコードすることができ、詳細なイベント内容と複雑なイベントの時間的相互アライメントを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T09:09:58Z)
• PALM: Predicting Actions through Language Models [74.10147822693791]
  本稿では,長期的行動予測の課題に取り組むアプローチであるPALMを紹介する。 本手法は,従来の行動系列を追跡する行動認識モデルと,関連する環境の詳細を記述するための視覚言語モデルを含む。 実験の結果,PALMは長期的な行動予測作業において最先端の手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T02:17:27Z)
• CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
  視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。 我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。 実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-13T17:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。