論文の概要: TBSG-Net: Temporal Bipartite Scene Graph Network for Fine-Grained Video Moment Retrieval
- arxiv url: http://arxiv.org/abs/2608.02056v1
- Date: Mon, 03 Aug 2026 10:52:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.494241
- Title: TBSG-Net: Temporal Bipartite Scene Graph Network for Fine-Grained Video Moment Retrieval
- Title(参考訳): TBSG-Net:細粒度ビデオモーメント検索のためのテンポラルバイパートイトシーングラフネットワーク
- Abstract要約: ビデオモーメント検索(VMR)は静的シーングラフ(SSG)の有効性を強調した
SSGをVMに統合することは、2つの固有の制限によって制約される。
TBSG-Net(Explicit Bipartite Scene Graph Network)を提案する。
- 参考スコア(独自算出の注目度): 6.81967623770995
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in proposal-free Video Moment Retrieval (VMR) have highlighted the effectiveness of Static Scene Graphs (SSGs). By modeling objects and their relations at the frame level, SSGs enrich retrieval-oriented video representations. However, integrating SSGs into VMR remains constrained by two inherent limitations: (1) Lack of Temporal Dynamics. SSGs fail to model how objects and their relationships evolve over time, leading to the loss of essential temporal dependencies in video representation; and (2) Lack of Explicit Temporal Span Encoding. SSGs do not explicitly encode the duration of relationships, making precise localization challenging. To address these limitations, we propose Temporal Bipartite Scene Graph Network (TBSG-Net)---to the best of our knowledge, the first Dynamic Scene Graph (DSG) based proposal-free VMR model. Specifically, TBSG-Net leverages DSGs to extract event-centric graph representations of the input video, enabling the modeling of object interactions over time and thus addressing limitation (1). These DSGs are then processed by a novel Dynamic Scene Graph Embedding (DSG-E) module to capture both Temporal Span and spatio-temporal information. First, DSG-E utilizes a TBSG Constructor to transform DSGs into TBSGs, explicitly encoding objects, relationships, and time spans to tackle limitation (2). Second, the resultant TBSGs are passed into a hybrid TBSG Encoder that integrates a Transformer variant for global event modeling and a Graph Convolutional Network for detailed relational reasoning, ultimately producing a more comprehensive spatio-temporal representation. Our experiments demonstrate substantial improvements of TBSG-Net over all baselines.
- Abstract(参考訳): 提案のないビデオモーメント検索(VMR)の最近の進歩は、静的シーングラフ(SSG)の有効性を強調している。
オブジェクトとそのフレームレベルでの関係をモデル化することにより、SSGは検索指向のビデオ表現を充実させる。
しかし、SSGをVMRに統合することは、(1)テンポラルダイナミクスの欠如という2つの固有の制限によって制約されている。
SSGは時間とともにオブジェクトとその関係がどう進化するかをモデル化できず、ビデオ表現に必須の時間依存性が失われる。
SSGは関係の持続時間を明示的にエンコードしていないため、正確な位置決めは困難である。
これらの制約に対処するために,我々は,第1の動的シーングラフ(DSG)ベースの提案自由VMRモデルであるTBSG-Net(Temporal Bipartite Scene Graph Network)を提案する。
具体的には、TBSG-NetはDSGを利用して入力ビデオのイベント中心グラフ表現を抽出し、時間とともにオブジェクト間の相互作用をモデル化し、制限に対処する。
これらのDSGは、新しい動的シーングラフ埋め込み(DSG-E)モジュールによって処理され、テンポラルスパンと時空間情報をキャプチャする。
まず DSG-E は TBSG コンストラクタを用いて DSG を TBSG に変換する。
第2に、結果のTBSGをハイブリッドTBSGエンコーダに渡して、グローバルイベントモデリング用のTransformer変種と、詳細なリレーショナル推論のためのGraph Convolutional Networkを統合し、最終的により包括的な時空間表現を生成する。
本実験では, TBSG-Netを全ベースラインで大幅に改善した。
関連論文リスト
- Static and Dynamic Graph Alignment Network for Temporal Video Grounding [17.14274381541407]
時間的ビデオグラウンディングは、与えられた自然言語クエリにセマンティックに対応した、トリミングされていないビデオ内の時間的モーメントをローカライズすることを目的としている。
ビデオクリップ間の時間関係をモデル化するために,GCN (Graph Convolutional Networks) がテレビGで広く採用されている。
論文 参考訳(メタデータ) (2026-05-01T14:16:42Z) - RS-Net: Context-Aware Relation Scoring for Dynamic Scene Graph Generation [1.7188280334580195]
動的シーングラフ生成(DSGG)は、ビデオの時間とともにオブジェクトの関係がどのように進化するかをモデル化する。
既存の手法は、注釈付きオブジェクトペアのみを訓練し、非関連ペアのガイダンスを欠いているため、推論中に意味のある関係を識別することは困難である。
本研究では,空間的相互作用と長距離時間的コンテキストの両方を用いて,オブジェクトペアの文脈的重要性を評価するモジュール型フレームワークであるRelation Scoring Network (RS-Net)を提案する。
論文 参考訳(メタデータ) (2025-11-11T05:37:21Z) - DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。
オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。
DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
論文 参考訳(メタデータ) (2025-03-18T06:49:51Z) - Weakly Supervised Video Scene Graph Generation via Natural Language Supervision [27.97296273461145]
既存のビデオシーングラフ生成(VidSGG)研究は、完全に教師された方法で訓練されている。
利用可能なビデオキャプションのみを利用する自然言語ベースのビデオシーングラフ生成フレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-21T10:42:04Z) - Supra-Laplacian Encoding for Transformer on Dynamic Graphs [14.293220696079919]
本稿では,時間情報を保持しつつ,GTアーキテクチャの新しいテンポラルエンコーディングを提案する。
具体的には、Time Dynamic Graphplas を多層グラフに変換し、関連する超ラテン行列のスペクトル特性を利用する。
第2のコントリビューションは、動的リンク予測のための正確なエッジ表現を提供するクロスアテンション機構と相互にノードをモデル化する。
論文 参考訳(メタデータ) (2024-09-26T15:56:40Z) - Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
フィンスタは微細な構造的時間的アライメント学習法である。
既存の13の強化されたビデオ言語モデルも一貫して改善されている。
論文 参考訳(メタデータ) (2024-06-27T15:23:36Z) - Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic
Role Labeling [96.64607294592062]
Video Semantic Label Roleing (VidSRL)は、与えられたビデオから健全なイベントを検出することを目的としている。
近年、VidSRLの手法が提案されているが、2つの重要な欠点を負う可能性がある。
論文 参考訳(メタデータ) (2023-08-09T17:20:14Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳(メタデータ) (2023-05-06T19:29:28Z) - RU-Net: Regularized Unrolling Network for Scene Graph Generation [92.95032610978511]
シーングラフ生成(SGG)は、オブジェクトを検出し、各オブジェクト間の関係を予測することを目的としている。
既存のSGG法は,(1)あいまいな対象表現,2)関係予測の多様性の低下など,いくつかの問題に悩まされることが多い。
両問題に対処する正規化アンローリングネットワーク(RU-Net)を提案する。
論文 参考訳(メタデータ) (2022-05-03T04:21:15Z) - Temporal Relational Modeling with Self-Supervision for Action
Segmentation [38.62057004624234]
ビデオの時間関係をモデル化するための拡張時間グラフ推論モジュール(DTGRM)を紹介します。
特に,多レベル拡張時間グラフの構築により時間関係を捉え,モデル化する。
私たちのモデルは3つの挑戦的なデータセットで最先端のアクションセグメンテーションモデルよりも優れています。
論文 参考訳(メタデータ) (2020-12-14T13:41:28Z) - Zero-Shot Video Object Segmentation via Attentive Graph Neural Networks [150.5425122989146]
本研究は、ゼロショットビデオオブジェクトセグメンテーション(ZVOS)のための新しい注意グラフニューラルネットワーク(AGNN)を提案する。
AGNNは、フレームをノードとして効率的に表現し、任意のフレームペア間の関係をエッジとして表現するために、完全に連結されたグラフを構築している。
3つのビデオセグメンテーションデータセットの実験結果は、AGNNがそれぞれのケースに新しい最先端を設定していることを示している。
論文 参考訳(メタデータ) (2020-01-19T10:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。