論文の概要: Knowledge Augmented Relation Inference for Group Activity Recognition
- arxiv url: http://arxiv.org/abs/2302.14350v2
- Date: Wed, 1 Mar 2023 08:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-02 11:38:15.910444
- Title: Knowledge Augmented Relation Inference for Group Activity Recognition
- Title（参考訳）: グループ活動認識のための知識拡張関係推論
- Authors: Xianglong Lang, Zhuming Wang, Zun Li, Meng Tian, Ge Shi, Lifang Wu and
Liang Wang
- Abstract要約: グループ活動認識のための知識強調手法を提案する。
本研究では,この知識を効果的に活用し,個々の表現を改善する新しい知識拡張関係推論フレームワークを開発する。
- 参考スコア（独自算出の注目度）: 14.240856072486666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing group activity recognition methods construct spatial-temporal
relations merely based on visual representation. Some methods introduce extra
knowledge, such as action labels, to build semantic relations and use them to
refine the visual presentation. However, the knowledge they explored just stay
at the semantic-level, which is insufficient for pursing notable accuracy. In
this paper, we propose to exploit knowledge concretization for the group
activity recognition, and develop a novel Knowledge Augmented Relation
Inference framework that can effectively use the concretized knowledge to
improve the individual representations. Specifically, the framework consists of
a Visual Representation Module to extract individual appearance features, a
Knowledge Augmented Semantic Relation Module explore semantic representations
of individual actions, and a Knowledge-Semantic-Visual Interaction Module aims
to integrate visual and semantic information by the knowledge. Benefiting from
these modules, the proposed framework can utilize knowledge to enhance the
relation inference process and the individual representations, thus improving
the performance of group activity recognition. Experimental results on two
public datasets show that the proposed framework achieves competitive
performance compared with state-of-the-art methods.
- Abstract（参考訳）: 既存のグループ活動認識手法の多くは、単に視覚表現に基づく時空間関係を構築している。
いくつかのメソッドでは、アクションラベルのような余分な知識を導入して意味関係を構築し、視覚的なプレゼンテーションを洗練させる。
しかし、彼らが探求した知識は意味レベルにとどまるだけで、これは顕著な精度の浄化には不十分である。
本稿では,グループ活動認識のための知識の活用と,その知識を効果的に活用して個々の表現を改善する新しい知識拡張関係推論フレームワークの開発を提案する。
具体的には、個々の外観特徴を抽出する視覚表現モジュールと、個々のアクションのセマンティック表現を探索する知識拡張セマンティック・リレーション・モジュールと、その知識による視覚情報とセマンティック情報の統合を目的とした知識・セマンティック・インタラクション・モジュールから構成される。
これらのモジュールの利点を生かして,提案フレームワークは知識を活用して関係推論プロセスと個々人の表現を強化し,グループ行動認識の性能を向上させる。
2つの公開データセットによる実験結果から,提案手法は最先端の手法と比較して競争性能が向上することが示された。
関連論文リスト
- A Concept-Centric Approach to Multi-Modality Learning [3.828996378105142]
我々は、より効率的なAIシステムを構築するために、新しいマルチモーダリティ学習フレームワークを導入する。
我々のフレームワークは、より効率的な学習曲線を示しながら、ベンチマークモデルと同等に達成する。
論文 参考訳（メタデータ） (2024-12-18T13:40:21Z) - Attend and Enrich: Enhanced Visual Prompt for Zero-Shot Learning [114.59476118365266]
視覚表現豊か化のための意味強調プロンプトを抽出するための視覚的プロンプトに意味情報を付与するAENetを提案する。
AENetは、2つの重要なステップから構成される: 1) 視覚的・属性的モダリティの概念調和トークンを探索し、一貫した視覚的セマンティックな概念を表す様相共有トークンに基づく。
論文 参考訳（メタデータ） (2024-06-05T07:59:48Z) - Augmented Commonsense Knowledge for Remote Object Grounding [67.30864498454805]
エージェントナビゲーションを改善するための時間的知識グラフとして,コモンセンス情報を活用するための拡張コモンセンス知識モデル(ACK)を提案する。
ACKは知識グラフ対応のクロスモーダルとコンセプトアグリゲーションモジュールで構成され、視覚的表現と視覚的テキストデータアライメントを強化する。
我々は、より正確な局所的な行動予測につながるコモンセンスに基づく意思決定プロセスのための新しいパイプラインを追加します。
論文 参考訳（メタデータ） (2024-06-03T12:12:33Z) - Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph
Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。
我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文 参考訳（メタデータ） (2023-06-14T13:07:48Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳（メタデータ） (2022-05-30T17:50:59Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-16T11:23:42Z) - Learning semantic Image attributes using Image recognition and knowledge
graph embeddings [0.3222802562733786]
本稿では,知識グラフ埋め込みモデルと認識された画像の属性を組み合わせることで,画像の意味的属性を学習するための共有学習手法を提案する。
提案されたアプローチは、大量のデータから学習するフレームワークと、新しい知識を推論するために限定的な述語を使用するフレームワークのギャップを埋めるためのステップである。
論文 参考訳（メタデータ） (2020-09-12T15:18:48Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳（メタデータ） (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。