論文の概要: Event-Aware Instructed Assistant for Referring Video Segmentation

• arxiv url: http://arxiv.org/abs/2606.26994v1
• Date: Thu, 25 Jun 2026 13:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.289892
• Title: Event-Aware Instructed Assistant for Referring Video Segmentation
• Title（参考訳）: イベント認識によるビデオセグメンテーションの参照支援
• Abstract要約: EVIS(Event-Aware Video Instructed Assistant)は、ビデオを単純なイベントに分割する。 また,MLLMが長期ビデオのターゲットを追跡できるObject-Pixel-Hybrid Learningを提案する。
• 参考スコア（独自算出の注目度）: 95.29838669257913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing referring video segmentation methods often treat a video as a single event consisting of multiple images, overlooking the fact that a video typically contains multiple distinct events. Under such a mechanism, the model needs to directly understand all the complex content in the video and text, which can easily lead to confusion and hallucinations. To address this issue, we propose to decompose a video to a set of simple events by learnable Event Query, and understand complex video content in an event-by-event, easy-to-understand manner. This is based on the observation that natural language expressions often divide a video into distinct, text-related segments, each representing a separate event within a compound event. We introduce EVIS, an Event-Aware Video Instructed Segmentation Assistant, which utilizes text-guided Event Queries to partition a video into simple events, extracting event-aware visual-text features to achieve a hierarchical understanding of the video. Additionally, we propose Object-Pixel-Hybrid Learning, which enables the MLLMs to track targets in long-term videos by integrating fine-grained pixel features with prior object queries. Extensive experimental results on 5 public benchmarks demonstrate EVIS's strong performance in addressing the referring video segmentation task.
• Abstract（参考訳）: 既存のビデオセグメンテーション手法は、ビデオが通常複数の異なるイベントを含むという事実を見越して、複数の画像からなる単一のイベントとして扱うことが多い。 このようなメカニズムの下では、モデルはビデオやテキストの複雑なコンテンツを直接理解し、混乱や幻覚につながる可能性がある。 この問題に対処するために,学習可能なEvent Queryによって一連の単純なイベントに分解し,イベントごとの複雑なビデオコンテンツを理解することを提案する。 これは、自然言語表現がしばしばビデオを、複合イベント内の別々のイベントを表す、異なるテキスト関連セグメントに分割する、という観察に基づいている。 EVISは、テキスト誘導のイベントクエリを使用して、ビデオを単純なイベントに分割し、イベント認識の視覚的特徴を抽出し、ビデオの階層的理解を実現する。 さらに,MLLMがオブジェクトクエリに精細なピクセル機能を統合することで,長期ビデオのターゲット追跡を可能にするObject-Pixel-Hybrid Learningを提案する。 5つの公開ベンチマークの大規模な実験結果は、EVISが参照ビデオセグメンテーションタスクに対処する上での強い性能を示している。

関連論文リスト

• TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors [40.48528326378281]
  デンスビデオキャプションは、入力ビデオ全体の時間的局所化イベントを解釈し、記述することを目的としている。 近年の最先端技術は,ビデオデータに詳細なモーメント記述を提供するために,大規模言語モデル(LLM)を活用している。 本稿では,TA-Promptingを提案する。TA-Promptingはテンポラルアンカーを介し,イベントを正確にローカライズし,ビデオLLMに時間対応のビデオイベント理解を促す。
  論文  参考訳（メタデータ） (2026-01-06T10:45:53Z)
• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• ViLLa: Video Reasoning Segmentation with Large Language Model [48.75470418596875]
  ViLLa: 大規模言語モデルを用いたビデオ推論セグメンテーションを提案する。 ViLLaは、複数のコアイノベーションを通じて、これらの課題に対処しています。 長ビデオの効率的な処理を可能にするために、Villaは(3)長ビデオを短いが意味的に密度の高いセグメントに適応的に分割し、冗長性を低下させるキーセグメントサンプリングを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-18T17:59:17Z)
• EA-VTR: Event-Aware Video-Text Retrieval [97.30850809266725]
  Event-Aware Video-Text Retrievalモデルは、優れたビデオイベント認識を通じて、強力なビデオテキスト検索能力を実現する。 EA-VTRはフレームレベルとビデオレベルの視覚表現を同時にエンコードすることができ、詳細なイベント内容と複雑なイベントの時間的相互アライメントを可能にする。
  論文  参考訳（メタデータ） (2024-07-10T09:09:58Z)
• Event-aware Video Corpus Moment Retrieval [79.48249428428802]
  Video Corpus Moment Retrieval(VCMR)は、未編集ビデオの膨大なコーパス内の特定の瞬間を特定することに焦点を当てた、実用的なビデオ検索タスクである。 VCMRの既存の方法は、典型的にはフレーム対応のビデオ検索に依存し、クエリとビデオフレーム間の類似性を計算して、ビデオをランク付けする。 本研究では,ビデオ検索の基本単位として,ビデオ内のイベントを明示的に活用するモデルであるEventFormerを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:55:20Z)
• SPOT! Revisiting Video-Language Models for Event Understanding [31.49859545456809]
  本稿では,既存のビデオ言語モデルのイベントレベルの相違点を識別する能力のベンチマークを行うSPOT Proberを紹介する。 これらの正負のキャプションで既存のビデオ言語モデルを評価した結果、操作されたイベントのほとんどを区別できないことがわかった。 そこで本研究では,これらの操作したイベントキャプションをハードネガティブなサンプルとしてプラグインし,イベント理解モデルの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-21T18:43:07Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• Learning Grounded Vision-Language Representation for Versatile Understanding in Untrimmed Videos [57.830865926459914]
  本稿では,情報イベントを自動的に検出する未編集ビデオのための視覚言語学習フレームワークを提案する。 粗いレベルのビデオ言語アライメントの代わりに、細かなセグメントレベルのアライメントを促進するために、2つの二重プレテキストタスクを提示する。 我々のフレームワークは、視覚的な言語理解と生成のタスクに容易に対応できる。
  論文  参考訳（メタデータ） (2023-03-11T11:00:16Z)
• Joint Multimedia Event Extraction from Video and Article [51.159034070824056]
  本稿では,ビデオ記事やテキスト記事からイベントを共同抽出する手法を提案する。 まず,自己教師型マルチモーダルイベントコアモデルを提案する。 第2に、ビデオとテキストの両方から構造化イベント情報を共同で抽出する、最初のマルチモーダルトランスフォーマーを導入する。
  論文  参考訳（メタデータ） (2021-09-27T03:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。