論文の概要: From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition

• arxiv url: http://arxiv.org/abs/2406.08358v1
• Date: Wed, 12 Jun 2024 16:02:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:06:55.920087
• Title: From a Social Cognitive Perspective: Context-aware Visual Social Relationship Recognition
• Title（参考訳）: 社会的認知的視点から:コンテキストを考慮した視覚的社会的関係認識
• Authors: Shiwei Wu, Chao Zhang, Joya Chen, Tong Xu, Likang Wu, Yao Hu, Enhong Chen,
• Abstract要約: 我々は,textbfContextual textbfSocial textbfRelationships (textbfConSoR) を社会的認知の観点から認識する新しいアプローチを提案する。 画像ごとの社会的関係を考慮した社会認識記述言語プロンプトを構築した。 印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8%向上している。
• 参考スコア（独自算出の注目度）: 59.57095498284501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People's social relationships are often manifested through their surroundings, with certain objects or interactions acting as symbols for specific relationships, e.g., wedding rings, roses, hugs, or holding hands. This brings unique challenges to recognizing social relationships, requiring understanding and capturing the essence of these contexts from visual appearances. However, current methods of social relationship understanding rely on the basic classification paradigm of detected persons and objects, which fails to understand the comprehensive context and often overlooks decisive social factors, especially subtle visual cues. To highlight the social-aware context and intricate details, we propose a novel approach that recognizes \textbf{Con}textual \textbf{So}cial \textbf{R}elationships (\textbf{ConSoR}) from a social cognitive perspective. Specifically, to incorporate social-aware semantics, we build a lightweight adapter upon the frozen CLIP to learn social concepts via our novel multi-modal side adapter tuning mechanism. Further, we construct social-aware descriptive language prompts (e.g., scene, activity, objects, emotions) with social relationships for each image, and then compel ConSoR to concentrate more intensively on the decisive visual social factors via visual-linguistic contrasting. Impressively, ConSoR outperforms previous methods with a 12.2\% gain on the People-in-Social-Context (PISC) dataset and a 9.8\% increase on the People-in-Photo-Album (PIPA) benchmark. Furthermore, we observe that ConSoR excels at finding critical visual evidence to reveal social relationships.
• Abstract（参考訳）: 人々の社会的関係はしばしば周囲を通じて現れ、特定の関係、例えば結婚式の指輪、バラ、抱擁、手を握る特定の物体や相互作用のシンボルとして振る舞う。 これは、社会的関係を認識し、視覚的な外見からこれらの文脈の本質を理解し、捉えなければならないというユニークな課題をもたらす。 しかし、現在の社会的関係理解の手法は、検出された人や対象の基本的な分類パラダイムに依存しており、包括的文脈の理解に失敗し、決定的な社会的要因、特に微妙な視覚的手がかりを見落としていることが多い。 社会的認識の文脈と複雑な詳細を明らかにするために,社会的認知的視点から, 社会的認知的視点から, 社会的認知的視点から, 社会的認知的視点を認識できる新しいアプローチを提案する。 具体的には、ソーシャル・アウェア・セマンティクスを組み込むために、凍結したCLIP上に軽量なアダプタを構築し、新しいマルチモーダル・サイド・アダプタ・チューニング機構を通じて社会概念を学習する。 さらに、各画像の社会的関係を反映した社会認識記述言語プロンプト(シーン、アクティビティ、オブジェクト、感情)を構築し、コンソーRを視覚言語コントラストによる決定的な視覚的社会的要因に集中させる。 印象的なことに、ConSoRは従来の手法を上回り、Person-in-Social-Context(PISC)データセットでは12.2\%、Person-in-Photo-Album(PIPA)ベンチマークでは9.8\%上昇している。 さらに,ConSoRは,社会的関係を明らかにするための重要な視覚的証拠の発見に優れていた。

関連論文リスト

• Graph Bottlenecked Social Recommendation [47.83350026188183]
  本稿では,社会騒音問題に対処するための新しいグラフ・ボトルネック・ソーシャル・レコメンデーション(GBSR)フレームワークを提案する。 GBSRはモデルに依存しないソーシャル・デノベーション・フレームワークであり、認知されたソーシャル・グラフとレコメンデーション・ラベルの相互情報の最大化を目的としている。
  論文  参考訳（メタデータ） (2024-06-12T13:44:22Z)
• Enhancing Social Relation Inference with Concise Interaction Graph and Discriminative Scene Representation [56.25878966006678]
  我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。 人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。 PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
  論文  参考訳（メタデータ） (2021-07-30T04:20:13Z)
• PHASE: PHysically-grounded Abstract Social Events for Machine Social Perception [50.551003004553806]
  私たちは、物理的に根拠のある抽象的なソーシャルイベント、フェーズのデータセットを作成します。 フェーズは人間の実験によって検証され、人間は社会出来事において豊かな相互作用を知覚する。 ベースラインモデルとして,最新のフィードフォワードニューラルネットワークよりも優れたベイズ逆計画手法SIMPLEを導入する。
  論文  参考訳（メタデータ） (2021-03-02T18:44:57Z)
• Towards a Better Understanding of Social Acceptability [28.727916976371265]
  社会的文脈は、テクノロジーの受容と利用を理解する上で重要な役割を果たす。 文脈的影響を記述するための現在のアプローチは、それを適切に捉えていない。 社会実践論に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-02T10:59:17Z)
• "where is this relationship going?": Understanding Relationship Trajectories in Narrative Text [28.14874371042193]
  社会的な相互作用を記述する物語が与えられたとき、システムは根底にある関係の軌跡について推測する。 新しいデータセットであるSocial Narrative Treeを構築し、1250のストーリーからなり、様々な日々の社会的相互作用を文書化しています。
  論文  参考訳（メタデータ） (2020-10-29T02:07:05Z)
• Graph-Based Social Relation Reasoning [101.9402771161935]
  社会関係認識のためのグラフ関係推論ネットワーク(GR2N)を提案する。 本手法は,社会関係グラフの構築による連関関係推定のパラダイムを考察する。 実験結果から,本手法は合理的で一貫した社会関係グラフを生成することが示された。
  論文  参考訳（メタデータ） (2020-07-15T03:01:11Z)
• Recursive Social Behavior Graph for Trajectory Prediction [49.005219590582676]
  我々は、グループベースのアノテーションによって管理される社会表現を、再帰的社会行動グラフと呼ばれる社会行動グラフに定式化する。 再帰的社会行動グラフ(Recursive Social Behavior Graph)のガイダンスにより、EDHおよびUCYデータセットにおける最先端の手法をADEの11.1%、FDEの10.8%で上回る。
  論文  参考訳（メタデータ） (2020-04-22T06:01:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。