論文の概要: Human Action Co-occurrence in Lifestyle Vlogs using Graph Link Prediction

• arxiv url: http://arxiv.org/abs/2309.06219v2
• Date: Fri, 22 Sep 2023 18:27:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 00:50:46.493822
• Title: Human Action Co-occurrence in Lifestyle Vlogs using Graph Link Prediction
• Title（参考訳）: グラフリンク予測を用いたライフスタイルVlogにおけるヒューマンアクション共起
• Authors: Oana Ignat, Santiago Castro, Weiji Li, Rada Mihalcea
• Abstract要約: 1組の視覚アクションとそれに対応するビデオクリップを共起する12kのグラフからなるACEデータセットを公開し、公開します。 視覚情報とテキスト情報を利用して2つのアクションが共起しているかどうかを自動的に推測するグラフリンク予測モデルについて述べる。
• 参考スコア（独自算出の注目度）: 33.552499274412995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the task of automatic human action co-occurrence identification, i.e., determine whether two human actions can co-occur in the same interval of time. We create and make publicly available the ACE (Action Co-occurrencE) dataset, consisting of a large graph of ~12k co-occurring pairs of visual actions and their corresponding video clips. We describe graph link prediction models that leverage visual and textual information to automatically infer if two actions are co-occurring. We show that graphs are particularly well suited to capture relations between human actions, and the learned graph representations are effective for our task and capture novel and relevant information across different data domains. The ACE dataset and the code introduced in this paper are publicly available at https://github.com/MichiganNLP/vlog_action_co-occurrence.
• Abstract（参考訳）: 我々は,2つの人間の行動が同じ時間間隔で共起可能かどうかを判断する,自動的人間の行動共起識別タスクを導入する。 我々はACE(Action Co-occurrencE)データセットを公開し、約12kのビジュアルアクションとそれに対応するビデオクリップからなる巨大なグラフを作成し、公開する。 視覚情報とテキスト情報を利用して2つのアクションが共起しているかどうかを自動的に推測するグラフリンク予測モデルについて述べる。 グラフは人間の行動間の関係を捉えるのに特に適しており、学習したグラフ表現はタスクに有効であり、異なるデータ領域にまたがる新規および関連情報をキャプチャする。 この論文で導入されたACEデータセットとコードはhttps://github.com/MichiganNLP/vlog_action_co-occurrenceで公開されている。

関連論文リスト

• Co-attention Graph Pooling for Efficient Pairwise Graph Interaction Learning [19.58671020943416]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データからの処理と学習に有効であることが証明されている。 グラフプーリングにおけるコアテンションを用いた相互作用表現抽出のための,新しい,効率的なグラフレベルアプローチを提案する。 筆者らの手法であるCAGPool(Co-Attention Graph Pooling)は,従来の手法と比較して,分類処理と回帰処理の両面での競合性能を示す。
  論文  参考訳（メタデータ） (2023-07-28T07:53:34Z)
• Learnable Graph Matching: A Practical Paradigm for Data Association [74.28753343714858]
  これらの問題に対処するための一般的な学習可能なグラフマッチング法を提案する。 提案手法は,複数のMOTデータセット上での最先端性能を実現する。 画像マッチングでは,一般的な屋内データセットであるScanNetで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-03-27T17:39:00Z)
• Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition [11.650290790796323]
  グラフ畳み込みネットワーク(GCN)は、骨格に基づく人間の行動認識領域において従来の手法より優れていた。 本稿では,関節間の空間的相互作用の相関を表す新しい2人グラフを提案する。 実験は、提案した2人グラフトポロジを利用する場合、相互作用と個々の動作の両方において精度の向上を示す。
  論文  参考訳（メタデータ） (2022-08-12T08:50:15Z)
• CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph Similarity Learning [65.1042892570989]
  自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。 我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。 我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
  論文  参考訳（メタデータ） (2022-05-30T13:20:26Z)
• Joint Graph Learning and Matching for Semantic Feature Correspondence [69.71998282148762]
  本稿では,グラフマッチングを向上するための信頼度の高いグラフ構造を探索するために,GLAMという共用電子グラフ学習とマッチングネットワークを提案する。 提案手法は,3つの人気ビジュアルマッチングベンチマーク (Pascal VOC, Willow Object, SPair-71k) で評価される。 すべてのベンチマークにおいて、従来の最先端のグラフマッチング手法よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2021-09-01T08:24:02Z)
• Zero-Shot Human-Object Interaction Recognition via Affordance Graphs [3.867143522757309]
  ゼロショットヒューマンオブジェクトインタラクション認識のための新しいアプローチを提案する。 提案手法では,画像コンテンツ以外の知識をグラフ形式で活用する。 提案手法をいくつかのデータセットで評価し,現状よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-02T13:14:44Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization [77.21951145754065]
  本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。 CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
  論文  参考訳（メタデータ） (2020-08-04T08:25:24Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。