論文の概要: Loose Social-Interaction Recognition in Real-world Therapy Scenarios
- arxiv url: http://arxiv.org/abs/2409.20270v1
- Date: Mon, 30 Sep 2024 13:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-02 11:58:29.514748
- Title: Loose Social-Interaction Recognition in Real-world Therapy Scenarios
- Title（参考訳）: 実社会療法シナリオにおける社会的相互作用認識の欠如
- Authors: Abid Ali, Rui Dai, Ashish Marisetty, Guillaume Astruc, Monique Thonnat, Jean-Marc Odobez, Susanne Thümmler, Francois Bremond,
- Abstract要約: 本稿では,2つの個人間の疎結合を捉えるために,新しいデュアルパスアーキテクチャを提案する。
我々のモデルは、CNNのバックボーンを介して各ストリームからグローバルな抽象的特徴を学習し、新しいGlobal-Layer-Attentionモジュールを使ってそれらを融合する。
我々は、ルース・インタラクション・データセットやゆるやかなインタラクションのための公開自閉症・データセットなど、現実世界の自閉症診断モデルを評価する。
- 参考スコア（独自算出の注目度）: 10.088521986304976
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The computer vision community has explored dyadic interactions for atomic actions such as pushing, carrying-object, etc. However, with the advancement in deep learning models, there is a need to explore more complex dyadic situations such as loose interactions. These are interactions where two people perform certain atomic activities to complete a global action irrespective of temporal synchronisation and physical engagement, like cooking-together for example. Analysing these types of dyadic-interactions has several useful applications in the medical domain for social-skills development and mental health diagnosis. To achieve this, we propose a novel dual-path architecture to capture the loose interaction between two individuals. Our model learns global abstract features from each stream via a CNNs backbone and fuses them using a new Global-Layer-Attention module based on a cross-attention strategy. We evaluate our model on real-world autism diagnoses such as our Loose-Interaction dataset, and the publicly available Autism dataset for loose interactions. Our network achieves baseline results on the Loose-Interaction and SOTA results on the Autism datasets. Moreover, we study different social interactions by experimenting on a publicly available dataset i.e. NTU-RGB+D (interactive classes from both NTU-60 and NTU-120). We have found that different interactions require different network designs. We also compare a slightly different version of our method by incorporating time information to address tight interactions achieving SOTA results.
- Abstract（参考訳）: コンピュータビジョンコミュニティは、プッシュ、キャリー・オブジェクトなどの原子的アクションに対するダイアディックな相互作用を探索してきた。
しかし、ディープラーニングモデルの進歩に伴い、疎結合のようなより複雑なダイアドシデントを探求する必要がある。
これらは、例えば料理など、時間的同期や物理的なエンゲージメントに関係なく、2人が特定の原子活動を行い、グローバルなアクションを完成させる相互作用である。
これらのダイアド相互作用の分析は、医療分野における社会的スキル開発と精神保健診断にいくつかの有用な応用をもたらす。
そこで本研究では,2つの個人間の疎結合を捉えるために,新しいデュアルパスアーキテクチャを提案する。
我々のモデルは,CNNのバックボーンを通じて各ストリームからグローバルな抽象的特徴を学習し,クロスアテンション戦略に基づく新しいグローバル・レイヤ・アテンション・モジュールを用いてそれらを融合する。
我々は、ルース・インタラクション・データセットやゆるやかなインタラクションのための公開自閉症・データセットなど、現実世界の自閉症診断モデルを評価する。
本ネットワークは,自閉症データセット上でのルース・インタラクションとSOTAの結果のベースライン化を実現している。
さらに、NTU-RGB+D(NTU-60とNTU-120の両方からの対話型クラス)を公開データセットとして実験することにより、異なる社会的相互作用を研究する。
異なるインタラクションには異なるネットワーク設計が必要です。
また, 時間情報を組み込んでSOTA結果の密接な相互作用に対処することにより, 若干の異なるバージョンを比較した。
関連論文リスト
- Social Support Detection from Social Media Texts [44.096359084699]
ソーシャルメディアのような様々な相互作用やプラットフォームを通じて伝えられる社会支援は、所有意識を育む上で重要な役割を担っている。
本稿では,自然言語処理(NLP)タスクとしてのソーシャルサポート検出(SSD)について紹介する。
我々は1万のYouTubeコメントからなるデータセットで実験を行った。
論文 参考訳（メタデータ） (2024-11-04T20:23:03Z) - Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。
本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文 参考訳（メタデータ） (2024-10-15T07:35:51Z) - Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。
本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。
大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
論文 参考訳（メタデータ） (2024-09-13T18:28:12Z) - Bodily Behaviors in Social Interaction: Novel Annotations and
State-of-the-Art Evaluation [0.0]
本稿では,社会相互作用に埋め込まれた複雑な身体行動の最初のアノテーションであるBBSIについて述べる。
心理学における過去の研究に基づいて,26時間の自発的な行動について手動で注釈を付けた。
我々は、人間の行動検出のための最先端のアプローチであるピラミッド拡張注意ネットワーク(PDAN)を適応する。
論文 参考訳（メタデータ） (2022-07-26T11:24:00Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳（メタデータ） (2022-07-20T13:37:57Z) - Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。
ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-03T23:43:55Z) - Transferable Interactiveness Knowledge for Human-Object Interaction
Detection [46.89715038756862]
我々は,人間と物体が相互に相互作用するか否かを示す対話性知識を探索する。
対話性に関する知識は、HOIデータセット全体で学習でき、多様なHOIカテゴリ設定のギャップを埋めることができる。
私たちのコアアイデアは、対話性ネットワークを利用して、複数のHOIデータセットから一般的な対話性知識を学ぶことです。
論文 参考訳（メタデータ） (2021-01-25T18:21:07Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳（メタデータ） (2020-07-07T17:19:56Z) - Interactions in information spread: quantification and interpretation
using stochastic block models [3.5450828190071655]
ソーシャルネットワークでは、ユーザーの行動は、対話する人々、フィード内のニュース、トレンドトピックから生じる。
本稿では、エンティティ間のインタラクションの役割を調査する新しいモデル、Interactive Mixed Membership Block Model (IMMSBM)を提案する。
推論タスクでは、それらを考慮すれば、結果の確率の最大150%の非相互作用モデルに対する平均的な相対的な変化につながる。
論文 参考訳（メタデータ） (2020-04-09T14:22:10Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。