論文の概要: Inter-X: Towards Versatile Human-Human Interaction Analysis
- arxiv url: http://arxiv.org/abs/2312.16051v1
- Date: Tue, 26 Dec 2023 13:36:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 14:57:04.766871
- Title: Inter-X: Towards Versatile Human-Human Interaction Analysis
- Title(参考訳): インターX:人間と人間の対話分析に向けて
- Authors: Liang Xu, Xintao Lv, Yichao Yan, Xin Jin, Shuwen Wu, Congsheng Xu,
Yifan Liu, Yizhou Zhou, Fengyun Rao, Xingdong Sheng, Yunhui Liu, Wenjun Zeng,
Xiaokang Yang
- Abstract要約: 正確な身体の動きと多様な相互作用パターンを持つデータセットであるInter-Xを提案する。
データセットは、1Kの相互作用シーケンスと8.1Mフレーム以上を含む。
また、Inter-Xには34K以上の微粒な人間のテキスト記述の多義アノテーションも備えています。
- 参考スコア(独自算出の注目度): 100.254438708001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The analysis of the ubiquitous human-human interactions is pivotal for
understanding humans as social beings. Existing human-human interaction
datasets typically suffer from inaccurate body motions, lack of hand gestures
and fine-grained textual descriptions. To better perceive and generate
human-human interactions, we propose Inter-X, a currently largest human-human
interaction dataset with accurate body movements and diverse interaction
patterns, together with detailed hand gestures. The dataset includes ~11K
interaction sequences and more than 8.1M frames. We also equip Inter-X with
versatile annotations of more than 34K fine-grained human part-level textual
descriptions, semantic interaction categories, interaction order, and the
relationship and personality of the subjects. Based on the elaborate
annotations, we propose a unified benchmark composed of 4 categories of
downstream tasks from both the perceptual and generative directions. Extensive
experiments and comprehensive analysis show that Inter-X serves as a testbed
for promoting the development of versatile human-human interaction analysis.
Our dataset and benchmark will be publicly available for research purposes.
- Abstract(参考訳): ユビキタスな人間と人間の相互作用の分析は、人間を社会的存在として理解する上で重要である。
既存の人間と人間のインタラクションデータセットは通常、不正確な体の動き、手のジェスチャーの欠如、きめ細かいテキスト記述に苦しむ。
人間のインタラクションをよりよく知覚し、生成するために、現在最大の人間と人間のインタラクションデータセットであるInter-Xを提案する。
データセットは、約11Kの相互作用シーケンスと8.1Mフレームを含む。
また、inter-xには、34k以上の精細な人間の部分レベルのテキスト記述、意味的相互作用カテゴリ、相互作用順序、主題の関係と個性に関する多彩なアノテーションも装備する。
精巧なアノテーションに基づいて,認識方向と生成方向の両方から,下流タスクの4つのカテゴリからなる統一ベンチマークを提案する。
広範な実験と包括的な分析により、inter-xは多用途な人間-人間間相互作用解析の開発を促進するためのテストベッドとして機能することが示された。
私たちのデータセットとベンチマークは、研究目的で公開されます。
関連論文リスト
- Expressive Forecasting of 3D Whole-body Human Motions [41.258268038297025]
私たちは初めて、全身の人間のポーズ予測フレームワークを定式化した。
我々のモデルは、クロスコンテキストアライメント(XCA)とクロスコンテキストインタラクション(XCI)の2つの重要な構成要素を含んでいる。
我々は,新たに導入した大規模ベンチマークの広範な実験を行い,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-12-19T09:09:46Z) - Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳(メタデータ) (2023-11-26T09:11:32Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-20T04:12:50Z) - IGFormer: Interaction Graph Transformer for Skeleton-based Human
Interaction Recognition [26.05948629634753]
骨格に基づく対話認識のための新しい対話グラフ変換器 (IGFormer) ネットワークを提案する。
IGFormerは、対話体部分間の意味的および距離的相関に基づいて相互作用グラフを構築する。
また,ヒトの骨格配列をBody-Part-Time配列に変換するセマンティック分割モジュールを提案する。
論文 参考訳(メタデータ) (2022-07-25T12:11:15Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳(メタデータ) (2022-07-20T13:37:57Z) - Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO [29.0200561485714]
我々は,Human-to-Human-or-Object(H2O)という2種類のインタラクションを扱う新しいインタラクションデータセットを提案する。
さらに, 人間の身体的態度の記述に近づき, 周囲の相互作用の標的について記述することを目的とした, 動詞の新たな分類法を導入する。
提案手法は,1回のフォワードパスにおける全てのインタラクションを検出するための,効率的な主観中心単発撮影法であるDIABOLOを提案する。
論文 参考訳(メタデータ) (2022-01-07T11:00:11Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳(メタデータ) (2020-08-26T17:59:40Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。