論文の概要: (2.5+1)D Spatio-Temporal Scene Graphs for Video Question Answering
- arxiv url: http://arxiv.org/abs/2202.09277v1
- Date: Fri, 18 Feb 2022 15:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 12:50:07.424846
- Title: (2.5+1)D Spatio-Temporal Scene Graphs for Video Question Answering
- Title（参考訳）: (2.5+1)ビデオ質問応答のための時空間グラフ
- Authors: Anoop Cherian and Chiori Hori and Tim K. Marks and Jonathan Le Roux
- Abstract要約: ビデオは基本的に、3D空間で発生するイベントの2D"ビュー"である。
ビデオ内の時間的情報の流れをよりよく捉えるために,(2.5+1)Dシーングラフ表現を提案する。
- 参考スコア（独自算出の注目度）: 54.436179346454516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatio-temporal scene-graph approaches to video-based reasoning tasks such as
video question-answering (QA) typically construct such graphs for every video
frame. Such approaches often ignore the fact that videos are essentially
sequences of 2D "views" of events happening in a 3D space, and that the
semantics of the 3D scene can thus be carried over from frame to frame.
Leveraging this insight, we propose a (2.5+1)D scene graph representation to
better capture the spatio-temporal information flows inside the videos.
Specifically, we first create a 2.5D (pseudo-3D) scene graph by transforming
every 2D frame to have an inferred 3D structure using an off-the-shelf 2D-to-3D
transformation module, following which we register the video frames into a
shared (2.5+1)D spatio-temporal space and ground each 2D scene graph within it.
Such a (2.5+1)D graph is then segregated into a static sub-graph and a dynamic
sub-graph, corresponding to whether the objects within them usually move in the
world. The nodes in the dynamic graph are enriched with motion features
capturing their interactions with other graph nodes. Next, for the video QA
task, we present a novel transformer-based reasoning pipeline that embeds the
(2.5+1)D graph into a spatio-temporal hierarchical latent space, where the
sub-graphs and their interactions are captured at varied granularity. To
demonstrate the effectiveness of our approach, we present experiments on the
NExT-QA and AVSD-QA datasets. Our results show that our proposed (2.5+1)D
representation leads to faster training and inference, while our hierarchical
model showcases superior performance on the video QA task versus the state of
the art.
- Abstract（参考訳）: ビデオ質問回答(QA)のようなビデオベースの推論タスクに対する時空間のシーングラフアプローチは、典型的には、ビデオフレーム毎にそのようなグラフを構築する。
このようなアプローチは、ビデオが基本的に3d空間で起こる出来事の2dの「ビュー」のシーケンスであり、3dシーンのセマンティクスがフレームからフレームへと引き継がれるという事実をしばしば無視する。
この知見を生かして,ビデオ内の時空間情報の流れをよりよく捉えるために,(2.5+1)dのシーングラフ表現を提案する。
具体的には,まず各2次元フレームをオフザシェルフ2D-to-3D変換モジュールを用いて推定3次元構造に変換して2.5D(pseudo-3D)シーングラフを作成し,次にビデオフレームを共有(2.5+1)D空間に登録し,その内部に2次元シーングラフを接地する。
そのような(2.5+1)Dグラフは静的な部分グラフと動的部分グラフに分離され、その中の物体が通常世界で動くかどうかに対応する。
動的グラフのノードは、他のグラフノードとの相互作用をキャプチャするモーション特徴に富んでいる。
次に、ビデオQAタスクにおいて、(2.5+1)Dグラフを時空間階層空間に埋め込んだトランスフォーマーベースの推論パイプラインを示し、サブグラフとその相互作用を様々な粒度でキャプチャする。
提案手法の有効性を示すため,NExT-QAデータセットとAVSD-QAデータセットについて実験を行った。
以上の結果から,提案した2.5+1(D)表現はトレーニングと推論の高速化に寄与し,階層モデルでは映像QAタスクにおいて技術状況よりも優れた性能を示した。
関連論文リスト
- 2D or not 2D: How Does the Dimensionality of Gesture Representation Affect 3D Co-Speech Gesture Generation? [5.408549711581793]
本研究では,2次元もしくは3次元の関節座標を訓練データとして用いることが,音声から身近な深層生成モデルの性能に及ぼす影響について検討した。
生成した2Dポーズシーケンスを3Dに変換するためのリフトモデルを用いて,2Dで生成したジェスチャと3Dで生成したジェスチャを直接3Dスタックで生成し,次に3Dに変換する方法を評価する。
論文 参考訳（メタデータ） (2024-09-16T15:06:12Z) - LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。
本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。
実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
論文 参考訳（メタデータ） (2024-04-13T11:07:53Z) - Weakly-Supervised 3D Scene Graph Generation via Visual-Linguistic Assisted Pseudo-labeling [9.440800948514449]
視覚言語支援擬似ラベルを用いた弱教師付き3次元シーングラフ生成法を提案する。
我々の3D-VLAPは、テキストと2D画像のセマンティクスを調整するために、現在の大規模視覚言語モデルの優れた能力を利用する。
エッジ自己アテンションに基づくグラフニューラルネットワークを設計し、3Dポイントクラウドシーンのシーングラフを生成する。
論文 参考訳（メタデータ） (2024-04-03T07:30:09Z) - SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。
オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。
そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
論文 参考訳（メタデータ） (2023-04-28T14:39:22Z) - Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。
我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。
提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
論文 参考訳（メタデータ） (2023-04-13T11:32:36Z) - Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using
Scene Graphs [85.54212143154986]
制御可能なシーン合成は、基本的な仕様を満たす3D情報を生成することで構成される。
シーングラフは、オブジェクト(ノード)とオブジェクト間の関係(エッジ)からなるシーンの表現である
本稿では,シーングラフから形状を直接エンドツーエンドに生成する手法を提案する。
論文 参考訳（メタデータ） (2021-08-19T17:59:07Z) - SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D
Sequences [76.28527350263012]
rgb-dフレームのシーケンスを与えられた3次元環境から意味的シーングラフを漸進的に構築する手法を提案する。
我々は、グラフニューラルネットワークを用いて、プリミティブシーンコンポーネントからpointnet機能を集約する。
提案手法は,35hzで動作する他の3dセマンティクスおよびパンオプティカルセグメンテーション法と同等の精度で,高いマージンで3dシーングラフ予測手法を上回る。
論文 参考訳（メタデータ） (2021-03-27T13:00:36Z) - Unsupervised object-centric video generation and decomposition in 3D [36.08064849807464]
本研究では,複数の3Dオブジェクトと3D背景を持つシーンを移動しながら映像を映像としてモデル化することを提案する。
我々のモデルは、監督なしに単眼ビデオから訓練されるが、複数の動く物体を含むコヒーレントな3Dシーンを生成することを学ぶ。
論文 参考訳（メタデータ） (2020-07-07T18:01:29Z) - Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions [94.17683799712397]
我々は、グラフ内のシーンのエンティティを整理するデータ構造であるシーングラフに焦点を当てる。
本研究では,シーンの点雲からシーングラフを回帰する学習手法を提案する。
本稿では,3D-3Dおよび2D-3Dマッチングの中間表現としてグラフが機能するドメインに依存しない検索タスクにおける本手法の適用について述べる。
論文 参考訳（メタデータ） (2020-04-08T12:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。