論文の概要: HIG: Hierarchical Interlacement Graph Approach to Scene Graph Generation in Video Understanding

• arxiv url: http://arxiv.org/abs/2312.03050v2
• Date: Sat, 9 Mar 2024 22:05:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 15:12:35.627084
• Title: HIG: Hierarchical Interlacement Graph Approach to Scene Graph Generation in Video Understanding
• Title（参考訳）: HIG:階層型インターレースグラフによる映像理解におけるシーングラフ生成
• Authors: Trong-Thuan Nguyen, Pha Nguyen, Khoa Luu
• Abstract要約: 既存の手法は単純な関係モデルを活用しながら複雑な相互作用に焦点を当てている。 階層構造内の統一層とグラフを利用する階層型インターレースグラフ (HIG) という新しい手法を提案する。 提案手法は,様々なシナリオで実施された広範囲な実験を通じて,他の手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 9.103869144049014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual interactivity understanding within visual scenes presents a significant challenge in computer vision. Existing methods focus on complex interactivities while leveraging a simple relationship model. These methods, however, struggle with a diversity of appearance, situation, position, interaction, and relation in videos. This limitation hinders the ability to fully comprehend the interplay within the complex visual dynamics of subjects. In this paper, we delve into interactivities understanding within visual content by deriving scene graph representations from dense interactivities among humans and objects. To achieve this goal, we first present a new dataset containing Appearance-Situation-Position-Interaction-Relation predicates, named ASPIRe, offering an extensive collection of videos marked by a wide range of interactivities. Then, we propose a new approach named Hierarchical Interlacement Graph (HIG), which leverages a unified layer and graph within a hierarchical structure to provide deep insights into scene changes across five distinct tasks. Our approach demonstrates superior performance to other methods through extensive experiments conducted in various scenarios.
• Abstract（参考訳）: 視覚シーンにおける視覚的対話性理解は、コンピュータビジョンにおいて重要な課題である。 既存の手法は単純な関係モデルを活用しながら複雑な相互作用に焦点を当てている。 しかし、これらの方法は、ビデオの外観、状況、位置、相互作用、関係の多様性に苦しむ。 この制限は、被験者の複雑な視覚力学における相互作用を完全に理解する能力を妨げる。 本稿では,人間と物体間の密接な相互作用からシーングラフ表現を導出することにより,視覚内容内の相互作用性を理解する。 この目的を達成するために,我々はまず,aspireと呼ばれる出現-位置-相互作用-関係の述語を含む新しいデータセットを提示した。 そして,階層構造内の統一層とグラフを利用して,5つの異なるタスク間のシーン変化の深い洞察を提供する階層型インターレースメントグラフ (HIG) を提案する。 本手法は,様々なシナリオで行った広範囲な実験により,他の手法よりも優れた性能を示す。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• From Category to Scenery: An End-to-End Framework for Multi-Person Human-Object Interaction Recognition in Videos [9.159660801125812]
  ビデオベースのヒューマンオブジェクトインタラクション(HOI)認識は、人間とオブジェクトの間の複雑なダイナミクスを探索する。 本研究では,シーンフレームワークCATSに新たなエンドツーエンドカテゴリを提案する。 我々は,これらの拡張幾何学的視覚的特徴をノードとして構成し,人間とオブジェクトのカテゴリ間の関係を学習する。
  論文  参考訳（メタデータ） (2024-07-01T02:42:55Z)
• Multi-Spectral Image Stitching via Spatial Graph Reasoning [52.27796682972484]
  空間グラフ推論に基づくマルチスペクトル画像縫合法を提案する。 同一のビュー位置から複数スケールの補完機能をノードに埋め込む。 空間的・チャネル的次元に沿った長距離コヒーレンスを導入することにより、画素関係の相補性とチャネル相互依存性は、整列したマルチビュー特徴の再構築に寄与する。
  論文  参考訳（メタデータ） (2023-07-31T15:04:52Z)
• Object-agnostic Affordance Categorization via Unsupervised Learning of Graph Embeddings [6.371828910727037]
  オブジェクトのインタラクションやアベイランスに関する知識を取得することで、シーン理解や人間とロボットのコラボレーション作業が容易になる。 オープンな相互作用の集合を持つクラス非依存オブジェクトに対する割当分類の問題に対処する。 アクティビティグラフの構築のために,新しい深度情報を用いた定性的空間表現を提案する。
  論文  参考訳（メタデータ） (2023-03-30T15:04:04Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Spatio-Temporal Interaction Graph Parsing Networks for Human-Object Interaction Recognition [55.7731053128204]
  ビデオに基づくヒューマンオブジェクトインタラクションシーンでは、人間とオブジェクトの時間的関係をモデル化することが、ビデオに提示されるコンテキスト情報を理解するための重要な手がかりである。 実効時間関係モデリングでは、各フレームの文脈情報を明らかにするだけでなく、時間間の依存関係を直接キャプチャすることもできる。 外観特徴、空間的位置、意味情報のフル活用は、ビデオベースのヒューマンオブジェクトインタラクション認識性能を改善する鍵でもある。
  論文  参考訳（メタデータ） (2021-08-19T11:57:27Z)
• Scenes and Surroundings: Scene Graph Generation using Relation Transformer [13.146732454123326]
  この研究は、リレーショナルトランスと呼ばれる新しいローカルコンテキスト対応アーキテクチャを提案する。 階層的マルチヘッドアテンションに基づくアプローチは、オブジェクト間のコンテキスト依存を効率的に捕捉し、それらの関係を予測する。 最先端のアプローチと比較して、私たちは全体として、textbf4.85%の改善を達成しました。
  論文  参考訳（メタデータ） (2021-07-12T14:22:20Z)
• Relation-aware Hierarchical Attention Framework for Video Question Answering [6.312182279855817]
  ビデオ中のオブジェクトの静的な関係と動的関係を学習するために,RHA(Relation-aware Hierarchical Attention)フレームワークを提案する。 特に、ビデオや質問は、まず事前訓練されたモデルによって埋め込まれ、視覚とテキストの特徴を得る。 我々は,時間的,空間的,意味的関係を考察し,階層的注意機構によりマルチモーダルな特徴を融合して回答を予測する。
  論文  参考訳（メタデータ） (2021-05-13T09:35:42Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• ORD: Object Relationship Discovery for Visual Dialogue Generation [60.471670447176656]
  視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 階層的なグラフ畳み込みネットワーク (HierGCN) が提案され、オブジェクトノードと近傍の関係を局所的に保持し、オブジェクトとオブジェクトの接続をグローバルに洗練する。 実験により,視覚的関係の文脈情報を活用することにより,対話の質を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2020-06-15T12:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。