論文の概要: STUPD: A Synthetic Dataset for Spatial and Temporal Relation Reasoning

• arxiv url: http://arxiv.org/abs/2309.06680v2
• Date: Tue, 30 Jul 2024 08:17:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 22:49:41.800409
• Title: STUPD: A Synthetic Dataset for Spatial and Temporal Relation Reasoning
• Title（参考訳）: STUPD:空間的・時間的関係推論のための合成データセット
• Authors: Palaash Agrawal, Haidi Azaman, Cheston Tan,
• Abstract要約: 本稿では,英語の前置詞から得られる空間的関係を理解するための大規模ビデオデータセットを提案する。 データセットには150Kの視覚的描写(ビデオと画像)が含まれており、30の異なる空間的前置詞感覚で構成されている。 また,空間的関係に加えて,事象・時間的相互作用を描写したビデオからなる10の時間的関係にまたがる50Kの視覚的描写も提案する。
• 参考スコア（独自算出の注目度）: 4.676784872259775
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding relations between objects is crucial for understanding the semantics of a visual scene. It is also an essential step in order to bridge visual and language models. However, current state-of-the-art computer vision models still lack the ability to perform spatial reasoning well. Existing datasets mostly cover a relatively small number of spatial relations, all of which are static relations that do not intrinsically involve motion. In this paper, we propose the Spatial and Temporal Understanding of Prepositions Dataset (STUPD) -- a large-scale video dataset for understanding static and dynamic spatial relationships derived from prepositions of the English language. The dataset contains 150K visual depictions (videos and images), consisting of 30 distinct spatial prepositional senses, in the form of object interaction simulations generated synthetically using Unity3D. In addition to spatial relations, we also propose 50K visual depictions across 10 temporal relations, consisting of videos depicting event/time-point interactions. To our knowledge, no dataset exists that represents temporal relations through visual settings. In this dataset, we also provide 3D information about object interactions such as frame-wise coordinates, and descriptions of the objects used. The goal of this synthetic dataset is to help models perform better in visual relationship detection in real-world settings. We demonstrate an increase in the performance of various models over 2 real-world datasets (ImageNet-VidVRD and Spatial Senses) when pretrained on the STUPD dataset, in comparison to other pretraining datasets.
• Abstract（参考訳）: オブジェクト間の関係を理解することは、視覚的なシーンの意味を理解するために不可欠である。 また、ビジュアルモデルと言語モデルを橋渡しするための重要なステップでもある。 しかし、現在の最先端のコンピュータビジョンモデルには、空間推論をうまく行う能力がない。 既存のデータセットは、相対的に少数の空間関係をカバーしており、これらは全て、本質的な動きを伴わない静的関係である。 本稿では,英語の前置詞から得られる静的・動的空間的関係を理解するための大規模ビデオデータセットSTUPDを提案する。 データセットには150Kの視覚的描写(ビデオと画像)が含まれており、Unity3Dを用いて合成されたオブジェクトインタラクションシミュレーションの形式で、30の異なる空間的前提感で構成されている。 また,空間的関係に加えて,事象・時間的相互作用を描写したビデオからなる10の時間的関係にまたがる50Kの視覚的描写も提案する。 我々の知る限りでは、視覚的設定による時間的関係を表すデータセットは存在しない。 本データセットでは,フレームワイド座標などのオブジェクトインタラクションの3次元情報や,使用するオブジェクトの記述も提供する。 この合成データセットの目標は、モデルが現実世界の設定における視覚的関係の検出を改善することを支援することである。 実世界の2つのデータセット(ImageNet-VidVRDとSpatial Senses)のSTUPDデータセット上で事前トレーニングを行った場合、他の事前トレーニングデータセットと比較して、様々なモデルの性能が向上することを示した。

関連論文リスト

• Benchmarking Spatial Relationships in Text-to-Image Generation [102.62422723894232]
  本研究では,オブジェクト間の空間的関係を正確に生成するテキスト・ツー・イメージモデルについて検討する。 画像中にテキストで記述された空間関係がどれだけ正確に生成されるかを測定する評価指標であるVISORを提案する。 我々の実験では、最先端のT2Iモデルは高画質であるが、複数のオブジェクトを生成できる能力や、それらの間の空間的関係が著しく制限されていることが判明した。
  論文  参考訳（メタデータ） (2022-12-20T06:03:51Z)
• Language Conditioned Spatial Relation Reasoning for 3D Object Grounding [87.03299519917019]
  自然言語に基づく3Dシーンにおけるオブジェクトのローカライズには,空間的関係の理解と推論が必要である。 本稿では,3次元オブジェクトとその空間関係をグラウンド化するための言語条件付きトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-17T16:42:39Z)
• PolarMOT: How Far Can Geometric Relations Take Us in 3D Multi-Object Tracking? [62.997667081978825]
  グラフのノードとして3D検出を符号化し、グラフエッジ上の局所極座標を用いてオブジェクト間の空間的および時間的対関係を符号化する。 これにより、グラフニューラルネットワークは、時間的および空間的相互作用を効果的に符号化することができる。 我々はnuScenesデータセット上に新しい最先端のデータセットを構築し、さらに重要なことに、私たちの手法であるPolarMOTが、異なる場所にわたって驚くほどよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2022-08-03T10:06:56Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• LIGHTEN: Learning Interactions with Graph and Hierarchical TEmporal Networks for HOI in videos [13.25502885135043]
  ビデオから人間と物体の相互作用を分析すると、人間とビデオに存在する物体の関係が特定される。 映像中の複数の粒度の真理を効果的に捉え,視覚的特徴を学習するための階層的アプローチ LIGHTEN を提案する。 V-COCOにおける人間と物体の相互作用検出(88.9%と92.6%)とCAD-120の予測タスクおよび画像ベースHOI検出の競争結果の最先端化を実現した。
  論文  参考訳（メタデータ） (2020-12-17T05:44:07Z)
• Rel3D: A Minimally Contrastive Benchmark for Grounding Spatial Relations in 3D [71.11034329713058]
  既存のデータセットには、大規模で高品質な3D地上真実情報がない。 Rel3Dは、空間関係を3Dでグラウンド化するための、最初の大規模で人間による注釈付きデータセットである。 我々は、データセットバイアスを減らすための新しいクラウドソーシング手法である、最小限のコントラストデータ収集を提案する。
  論文  参考訳（メタデータ） (2020-12-03T01:51:56Z)
• RELATE: Physically Plausible Multi-Object Scene Synthesis Using Structured Latent Spaces [77.07767833443256]
  RELATEは、複数の対話オブジェクトの物理的に可視なシーンとビデオを生成することを学習するモデルである。 オブジェクト中心生成モデリングにおける最先端の手法とは対照的に、RELATEは自然に動的なシーンに拡張し、高い視覚的忠実度のビデオを生成する。
  論文  参考訳（メタデータ） (2020-07-02T17:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。