Fugu-MT 論文翻訳(概要): Cross-Skeleton Interaction Graph Aggregation Network for Representation Learning of Mouse Social Behaviour

論文の概要: Cross-Skeleton Interaction Graph Aggregation Network for Representation Learning of Mouse Social Behaviour

arxiv url: http://arxiv.org/abs/2208.03819v1
Date: Sun, 7 Aug 2022 21:06:42 GMT
ステータス: 処理完了
システム内更新日: 2022-08-09 13:24:52.034071
Title: Cross-Skeleton Interaction Graph Aggregation Network for Representation Learning of Mouse Social Behaviour
Title（参考訳）: マウス社会行動の表現学習のためのクロス骨格相互作用グラフ集約ネットワーク
Authors: Feixiang Zhou, Xinyu Yang, Fang Chen, Long Chen, Zheheng Jiang, Hui Zhu, Reiko Heckel, Haikuan Wang, Minrui Fei and Huiyu Zhou
Abstract要約: マウスの社会的行動分析は、行動神経科学においてますますポピュラーな研究領域となっている。高度に変形可能な体型とあいまいな運動パターンにより、マウス間の複雑な社会的相互作用をモデル化することは困難である。我々は,自由に相互作用するマウスの豊富な動態を学習するクロス骨格相互作用グラフ集約ネットワーク(CS-IGANet)を提案する。
参考スコア（独自算出の注目度）: 24.716092330419123
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Automated social behaviour analysis of mice has become an increasingly popular research area in behavioural neuroscience. Recently, pose information (i.e., locations of keypoints or skeleton) has been used to interpret social behaviours of mice. Nevertheless, effective encoding and decoding of social interaction information underlying the keypoints of mice has been rarely investigated in the existing methods. In particular, it is challenging to model complex social interactions between mice due to highly deformable body shapes and ambiguous movement patterns. To deal with the interaction modelling problem, we here propose a Cross-Skeleton Interaction Graph Aggregation Network (CS-IGANet) to learn abundant dynamics of freely interacting mice, where a Cross-Skeleton Node-level Interaction module (CS-NLI) is used to model multi-level interactions (i.e., intra-, inter- and cross-skeleton interactions). Furthermore, we design a novel Interaction-Aware Transformer (IAT) to dynamically learn the graph-level representation of social behaviours and update the node-level representation, guided by our proposed interaction-aware self-attention mechanism. Finally, to enhance the representation ability of our model, an auxiliary self-supervised learning task is proposed for measuring the similarity between cross-skeleton nodes. Experimental results on the standard CRMI13-Skeleton and our PDMB-Skeleton datasets show that our proposed model outperforms several other state-of-the-art approaches.
Abstract（参考訳）: マウスの自動行動分析は、行動神経科学においてますます人気のある研究領域となっている。近年、マウスの社会的行動を解釈するためにポーズ情報(すなわちキーポイントや骨格の位置)が用いられている。それにもかかわらず、マウスのキーポイントを支える社会的相互作用情報の効果的な符号化と復号化は、既存の方法ではほとんど研究されていない。特に、高度に変形可能な体型とあいまいな動きパターンにより、マウス間の複雑な社会的相互作用をモデル化することは困難である。相互作用モデリング問題に対処するため、クロス骨格相互作用グラフ集約ネットワーク(CS-IGANet)を提案し、クロス骨格ノードレベル相互作用モジュール(CS-NLI)を用いてマルチレベル相互作用(イントラ、インタースケルトン相互作用、クロススケルトン相互作用)をモデル化する。さらに,新たな対話認識変換器 (Interaction-Aware Transformer, IAT) を設計し, グラフレベルの社会行動表現を動的に学習し, ノードレベルの表現を更新する。最後に,モデルの表現能力を高めるために,クロススケルトンノード間の類似度を測定するための自己教師付き学習タスクを提案する。標準crmi13-skeletonとpdmb-skeletonデータセットの実験結果から,提案手法は他の手法よりも優れていることが示された。

関連論文リスト

Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
論文参考訳（メタデータ） (2024-10-15T07:35:51Z)
Learning Mutual Excitation for Hand-to-Hand and Human-to-Human Interaction Recognition [22.538114033191313]
相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。 Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。提案するme-GCは,最先端GCN法およびTransformer法より優れている。
論文参考訳（メタデータ） (2024-02-04T10:00:00Z)
InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文参考訳（メタデータ） (2023-11-27T14:32:33Z)
Towards a Unified Transformer-based Framework for Scene Graph Generation and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。提案手法は最先端のHOI法と比較して競争性能が向上する。
論文参考訳（メタデータ） (2023-11-03T07:25:57Z)
IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition [26.05948629634753]
骨格に基づく対話認識のための新しい対話グラフ変換器 (IGFormer) ネットワークを提案する。 IGFormerは、対話体部分間の意味的および距離的相関に基づいて相互作用グラフを構築する。また,ヒトの骨格配列をBody-Part-Time配列に変換するセマンティック分割モジュールを提案する。
論文参考訳（メタデータ） (2022-07-25T12:11:15Z)
A Skeleton-aware Graph Convolutional Network for Human-Object Interaction Detection [14.900704382194013]
そこで我々は,SGCN4HOIという人-物間相互作用検出のためのスケルトン対応グラフ畳み込みネットワークを提案する。我々のネットワークは、人間のキーポイントとオブジェクトキーポイントの間の空間的接続を利用して、グラフの畳み込みによるきめ細かい構造的相互作用を捉えます。このような幾何学的特徴と視覚的特徴と、人間と物体のペアから得られる空間的構成特徴を融合させる。
論文参考訳（メタデータ） (2022-07-11T15:20:18Z)
Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文参考訳（メタデータ） (2021-09-09T16:04:14Z)
Convolutions for Spatial Interaction Modeling [9.408751013132624]
自律走行車周辺におけるアクターの移動予測における空間相互作用モデリングの問題点について考察する。我々は畳み込みを再検討し,低レイテンシで空間相互作用をモデル化する上で,グラフネットワークと同等のパフォーマンスを実証できることを示した。
論文参考訳（メタデータ） (2021-04-15T00:41:30Z)
Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model [124.26611454540813]
マウスの社会的行動分析は神経変性疾患の治療効果を評価する貴重なツールである。マウスの社会行動の豊かな記述を創出する可能性から、ネズミの観察にマルチビュービデオ記録を使用することは、ますます注目を集めている。本稿では,ビュー固有のサブ構造とビュー共有サブ構造を協調的に学習する,新しい多視点潜在意識・動的識別モデルを提案する。
論文参考訳（メタデータ） (2020-11-04T18:09:58Z)
A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文参考訳（メタデータ） (2020-07-14T09:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。