論文の概要: Bridging Episodes and Semantics: A Novel Framework for Long-Form Video Understanding

• arxiv url: http://arxiv.org/abs/2408.17443v1
• Date: Fri, 30 Aug 2024 17:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 14:36:36.926780
• Title: Bridging Episodes and Semantics: A Novel Framework for Long-Form Video Understanding
• Title（参考訳）: Bridging Episodes and Semantics: 長期ビデオ理解のための新しいフレームワーク
• Authors: Gueter Josmy Faure, Jia-Fong Yeh, Min-Hung Chen, Hung-Ting Su, Winston H. Hsu, Shang-Hong Lai,
• Abstract要約: 本稿ではBREASE: BRidging Episodes and SEmantics for Long-Form Video Understandingを紹介する。 まず、ミクロからセミマクロまで重要な表現を効率的に集約するエピソディック・コムプレッサー(ECO)を開発した。 次に,Semantics reTRiever (SeTR) を提案する。
• 参考スコア（独自算出の注目度）: 32.117677036812836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While existing research often treats long-form videos as extended short videos, we propose a novel approach that more accurately reflects human cognition. This paper introduces BREASE: BRidging Episodes And SEmantics for Long-Form Video Understanding, a model that simulates episodic memory accumulation to capture action sequences and reinforces them with semantic knowledge dispersed throughout the video. Our work makes two key contributions: First, we develop an Episodic COmpressor (ECO) that efficiently aggregates crucial representations from micro to semi-macro levels. Second, we propose a Semantics reTRiever (SeTR) that enhances these aggregated representations with semantic information by focusing on the broader context, dramatically reducing feature dimensionality while preserving relevant macro-level information. Extensive experiments demonstrate that BREASE achieves state-of-the-art performance across multiple long video understanding benchmarks in both zero-shot and fully-supervised settings. The project page and code are at: https://joslefaure.github.io/assets/html/hermes.html.
• Abstract（参考訳）: 従来の研究では、長編動画を長編ビデオとして扱うことが多いが、人間の認知をより正確に反映する新しいアプローチを提案する。 本稿では,BREASE: BRidging Episodes and SEmantics for Long-Form Video Understandingを紹介する。 まず、ミクロからセミマクロまで重要な表現を効率的に集約するエピソディック・コムプレッサー(ECO)を開発した。 次に,Semantics reTRiever(セマンティックス・レトニバー)を提案する。セマンティックス・レトニバー(セマンティックス・レトニバー)は,セマンティックス・レトニバー(セマンティックス・レトニバー)とセマンティックス・レトニバー(セマンティックス・レトニバー)が関連したマクロレベルの情報を保存しながら,より広いコンテキストに焦点をあてることで,これらの集合表現を意味情報で強化する。 大規模な実験により、BREASEはゼロショットとフル教師付きの両方の設定において、複数の長いビデオ理解ベンチマークで最先端のパフォーマンスを達成することが示された。 プロジェクトページとコードは以下の通りである。

関連論文リスト

• Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies [69.28082193942991]
  本稿では、これまで見過ごされていた2つの重要なビデオ推論スキルを探索するためのテストベッドとして設計された、新しいデータセットであるTropes in Movies (TiM)を紹介する。 映画ストーリーテリングのトポロジを利用して、TiMは最先端のLCMベースのアプローチの推論能力を評価する。 これらの欠陥に対処するために、FEVoRI(Face-Enhanced Viper of Role Interactions)とConQueR(Context Query Reduction)を提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:58:31Z)
• MeMSVD: Long-Range Temporal Structure Capturing Using Incremental SVD [27.472705540825316]
  本論文は、長時間の時間窓上での人間の行動を認識すること(最大数分)を目標とする長期映像理解について述べる。 本稿では,Singular Value Decomposition を用いて取得したメモリの低ランク近似に基づくアテンションベースのスキームの代替を提案する。 提案手法には2つの利点がある: (a) 複雑度を1桁以上削減し, (b) メモリベース計算の効率的な実装が可能である。
  論文  参考訳（メタデータ） (2024-06-11T12:03:57Z)
• SpikeMba: Multi-Modal Spiking Saliency Mamba for Temporal Video Grounding [50.337896542603524]
  時間的ビデオグラウンドティングのためのマルチモーダル・スパイク・サリエンシ・マンバであるSpikeMbaを紹介した。 我々のアプローチでは、スパイキングニューラルネットワーク(SNN)と状態空間モデル(SSM)を統合して、そのユニークな利点を活用する。 我々の実験は、最先端の手法を一貫して上回るSpikeMbaの有効性を実証した。
  論文  参考訳（メタデータ） (2024-04-01T15:26:44Z)
• Temporal Insight Enhancement: Mitigating Temporal Hallucination in Multimodal Large Language Models [20.33971942003996]
  本研究では,MLLMにおける事象レベルの幻覚に対処する革新的な手法を提案する。 オンデマンドイベントクエリをアイコンアクションに分解するユニークなメカニズムを提案する。 イベント発生の特定のタイムスタンプを予測するために、CLIPやBLIP2といったモデルを採用しています。
  論文  参考訳（メタデータ） (2024-01-18T10:18:48Z)
• Video-based Person Re-identification with Long Short-Term Representation Learning [101.62570747820541]
  ビデオベースの人物再識別(V-ReID)は、オーバーラップしないカメラで撮影した生のビデオから特定の人物を回収することを目的としている。 本稿では,V-ReIDのためのLong Short-Term Representation Learning(LSTRL)という新しいディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-07T16:22:47Z)
• A Threefold Review on Deep Semantic Segmentation: Efficiency-oriented, Temporal and Depth-aware design [77.34726150561087]
  我々は、自動運転車のビジョンの文脈において、Deep Semanticの最も関連性があり最近の進歩について調査を行う。 私たちの主な目的は、それぞれの視点で直面している主要な方法、利点、制限、結果、課題に関する包括的な議論を提供することです。
  論文  参考訳（メタデータ） (2023-03-08T01:29:55Z)
• Hierarchical Deep Residual Reasoning for Temporal Moment Localization [48.108468456043994]
  ビデオと文を異なる意味を持つマルチレベル表現に分解する階層的深層残響推論(HDRR)モデルを提案する。 また,機能融合のための簡易かつ効果的なRes-BiGRUを設計し,自己適応的に有用な情報を把握できる。
  論文  参考訳（メタデータ） (2021-10-31T07:13:34Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。