論文の概要: Dual-branch Cross-Patch Attention Learning for Group Affect Recognition
- arxiv url: http://arxiv.org/abs/2212.07055v1
- Date: Wed, 14 Dec 2022 06:51:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 15:03:15.326425
- Title: Dual-branch Cross-Patch Attention Learning for Group Affect Recognition
- Title(参考訳): グループ感情認識のためのデュアルブランチクロスパッチ注意学習
- Authors: Hongxia Xie, Ming-Xian Lee, Tzu-Jui Chen, Hung-Jen Chen, Hou-I Liu,
Hong-Han Shuai, Wen-Huang Cheng
- Abstract要約: グループ・エフェクト(Group affect)とは、グループ内の外部刺激によって誘発される主観的な感情を指す。
本研究は,最重要人物(MIP)という心理的概念を取り入れたものである。
本稿では,グローバルイメージとMIPを併用したDual-branch Cross-Patch Attention Transformer (DCAT)を提案する。
- 参考スコア(独自算出の注目度): 22.169290334463888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group affect refers to the subjective emotion that is evoked by an external
stimulus in a group, which is an important factor that shapes group behavior
and outcomes. Recognizing group affect involves identifying important
individuals and salient objects among a crowd that can evoke emotions. Most of
the existing methods are proposed to detect faces and objects using pre-trained
detectors and summarize the results into group emotions by specific rules.
However, such affective region selection mechanisms are heuristic and
susceptible to imperfect faces and objects from the pre-trained detectors.
Moreover, faces and objects on group-level images are often contextually
relevant. There is still an open question about how important faces and objects
can be interacted with. In this work, we incorporate the psychological concept
called Most Important Person (MIP). It represents the most noteworthy face in
the crowd and has an affective semantic meaning. We propose the Dual-branch
Cross-Patch Attention Transformer (DCAT) which uses global image and MIP
together as inputs. Specifically, we first learn the informative facial regions
produced by the MIP and the global context separately. Then, the Cross-Patch
Attention module is proposed to fuse the features of MIP and global context
together to complement each other. With parameters less than 10x, the proposed
DCAT outperforms state-of-the-art methods on two datasets of group valence
prediction, GAF 3.0 and GroupEmoW datasets. Moreover, our proposed model can be
transferred to another group affect task, group cohesion, and shows comparable
results.
- Abstract(参考訳): グループ・インフルエント(group affect)とは、グループ内の外部刺激によって誘発される主観的な感情のことであり、グループ行動や結果を形成する重要な要素である。
集団的影響を認識するには、感情を誘発できる群集の中で重要な個人と有能な対象を特定する必要がある。
既存の手法の多くは、事前訓練された検出器を用いて顔や物体を検出し、その結果を特定のルールでグループ感情にまとめるために提案されている。
しかし、このような情緒的領域選択機構はヒューリスティックであり、事前訓練された検出器から不完全な顔や物体に影響を受けやすい。
さらに、グループレベルの画像上の顔やオブジェクトは、しばしば文脈的に関連づけられる。
顔やオブジェクトがどう相互作用できるかについては、まだ疑問の余地がある。
本研究では,最重要人物(mip)と呼ばれる心理概念を取り入れた。
群衆の中でもっとも注目すべき顔であり、情緒的な意味を持つ。
本稿では,グローバルイメージとMIPを併用したDual-branch Cross-Patch Attention Transformer (DCAT)を提案する。
具体的には、まず、mipが生成する情報的顔領域と、グローバルコンテキストを別々に学習する。
次に、MIPとグローバルコンテキストの特徴を融合させて相互補完するために、クロスパッチアテンションモジュールを提案する。
パラメータが10倍未満の場合、提案したDCATは、グループ価予測(GAF 3.0とGroupEmoWデータセット)の2つのデータセットで最先端の手法より優れている。
さらに,提案手法を他のグループインフルエンサータスク,グループ凝集に移し,比較結果を示すことができる。
関連論文リスト
- Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳(メタデータ) (2023-12-04T08:02:59Z) - Ranking-based Group Identification via Factorized Attention on Social
Tripartite Graph [68.08590487960475]
グループ識別のための文脈的要因認識(CFAG)という,GNNに基づく新しいフレームワークを提案する。
我々は3部グラフ畳み込み層を考案し、ユーザ、グループ、アイテム間の異なる種類の近隣からの情報を集約する。
データ疎度問題に対処するため,提案した因子化注意機構に基づく新しい伝搬増強層を考案した。
論文 参考訳(メタデータ) (2022-11-02T01:42:20Z) - Mix and Reason: Reasoning over Semantic Topology with Data Mixing for
Domain Generalization [48.90173060487124]
ドメイン一般化(DG)は、複数のソースドメインから見えないターゲットドメインへの学習マシンを可能にする。
mire は2つのキーコンポーネント、すなわち Category-Aware Data Mixing (CDM) と Adaptive Semantic Topology Refinement (ASTR) で構成されている。
複数のDGベンチマーク実験により,提案法の有効性とロバスト性を検証した。
論文 参考訳(メタデータ) (2022-10-14T06:52:34Z) - Hunting Group Clues with Transformers for Social Group Activity
Recognition [3.1061678033205635]
社会的グループ活動認識には、複数のサブグループ活動を認識し、グループメンバーを特定する必要がある。
既存のほとんどのメソッドは、リージョンの機能を精錬し、それらをアクティビティのフィーチャにまとめることで、両方のタスクに取り組みます。
我々は,効果的なソーシャルグループ機能を生成するために,トランスフォーマーのアテンションモジュールを活用することを提案する。
本手法は,アテンションモジュールが社会的グループ活動に関連する特徴を識別し,集約するように設計されている。
論文 参考訳(メタデータ) (2022-07-12T01:46:46Z) - A Unified Architecture of Semantic Segmentation and Hierarchical
Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。
我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。
我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
論文 参考訳(メタデータ) (2021-12-08T22:06:31Z) - Affect-DML: Context-Aware One-Shot Recognition of Human Affect using
Deep Metric Learning [29.262204241732565]
既存の方法は、すべての関心の感情に注釈付きトレーニングの例として優先順位が与えられると仮定している。
我々は、文脈における感情のワンショット認識を概念化し、単一のサポートサンプルからより細かい粒子レベルの人間の影響状態を認識することを目的とした新しい問題である。
モデルの全変種は、ランダムなベースラインよりも明らかに優れており、セマンティックシーンのコンテキストを活用することで、学習された表現を一貫して改善している。
論文 参考訳(メタデータ) (2021-11-30T10:35:20Z) - Improving Facial Attribute Recognition by Group and Graph Learning [34.39507051712628]
属性間の関係を爆発させることは、顔属性認識を改善する上で重要な課題である。
本研究では,空間的関係と非空間的関係の2種類の相関関係について考察する。
マルチスケールグループとグラフネットワークという統合ネットワークを提案する。
論文 参考訳(メタデータ) (2021-05-28T13:36:28Z) - Referring Image Segmentation via Cross-Modal Progressive Comprehension [94.70482302324704]
画像セグメンテーションの参照は、自然言語表現で与えられた記述によく一致するエンティティの前景マスクをセグメンテーションすることを目的としている。
従来のアプローチでは、暗黙的な特徴相互作用と視覚的モダリティと言語的モダリティの融合を用いてこの問題に対処していた。
本稿では,この課題に効果的に対応するために,Cross-Modal Progressive (CMPC) モジュールと Text-Guided Feature Exchange (TGFE) モジュールを提案する。
論文 参考訳(メタデータ) (2020-10-01T16:02:30Z) - Face Anti-Spoofing with Human Material Perception [76.4844593082362]
フェース・アンチ・スプーフィング(FAS)は、プレゼンテーション攻撃から顔認識システムを保護する上で重要な役割を担っている。
我々は、顔の反偽造を物質認識問題として言い換え、それを古典的な人間の物質知覚と組み合わせる。
本稿では,本質的な素材に基づくパターンをキャプチャ可能なバイラテラル畳み込みネットワーク(BCN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T18:25:53Z) - GroupFace: Learning Latent Groups and Constructing Group-based
Representations for Face Recognition [20.407167858663453]
組込み機能の品質を向上させるために,グループフェイスと呼ばれる新しい顔認識特化アーキテクチャを提案する。
提案手法は,人間のアノテーションを付加せずに各グループに属するサンプル数のバランスをとる自己分散ラベルを提供する。
提案手法のすべてのコンポーネントは、計算複雑性を極端に増加させることなく、エンドツーエンドで訓練することができる。
論文 参考訳(メタデータ) (2020-05-21T07:30:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。