論文の概要: Real-Time Cattle Interaction Recognition via Triple-stream Network
- arxiv url: http://arxiv.org/abs/2209.02241v1
- Date: Tue, 6 Sep 2022 06:31:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:32:37.200252
- Title: Real-Time Cattle Interaction Recognition via Triple-stream Network
- Title（参考訳）: トリプルストリームネットワークによるリアルタイムキャトル相互作用認識
- Authors: Yang Yang, Mizuka Komatsu, Kenji Oyama, Takenao Ohkawa
- Abstract要約: 牛の局在化ネットワークは、検出されたすべての牛から高品質な相互作用提案を出力する。
インタラクション認識ネットワークは、それらをトリプルストリームアーキテクチャでインタラクション認識ネットワークにフィードする。
- 参考スコア（独自算出の注目度）: 3.3843451892622576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In stockbreeding of beef cattle, computer vision-based approaches have been
widely employed to monitor cattle conditions (e.g. the physical, physiology,
and health). To this end, the accurate and effective recognition of cattle
action is a prerequisite. Generally, most existing models are confined to
individual behavior that uses video-based methods to extract spatial-temporal
features for recognizing the individual actions of each cattle. However, there
is sociality among cattle and their interaction usually reflects important
conditions, e.g. estrus, and also video-based method neglects the real-time
capability of the model. Based on this, we tackle the challenging task of
real-time recognizing interactions between cattle in a single frame in this
paper. The pipeline of our method includes two main modules: Cattle
Localization Network and Interaction Recognition Network. At every moment,
cattle localization network outputs high-quality interaction proposals from
every detected cattle and feeds them into the interaction recognition network
with a triple-stream architecture. Such a triple-stream network allows us to
fuse different features relevant to recognizing interactions. Specifically, the
three kinds of features are a visual feature that extracts the appearance
representation of interaction proposals, a geometric feature that reflects the
spatial relationship between cattle, and a semantic feature that captures our
prior knowledge of the relationship between the individual action and
interaction of cattle. In addition, to solve the problem of insufficient
quantity of labeled data, we pre-train the model based on self-supervised
learning. Qualitative and quantitative evaluation evidences the performance of
our framework as an effective method to recognize cattle interaction in real
time.
- Abstract（参考訳）: 牛の飼育において、コンピュータビジョンに基づくアプローチは牛の状態(例えば、身体、生理学、健康)を監視するために広く用いられている。
この目的のためには、牛の行動の正確かつ効果的な認識が必須である。
一般的に、既存のモデルは個々の行動に制限されており、ビデオベースの手法で各牛の行動を認識する空間的-時間的特徴を抽出する。
しかし、牛の間では社会性があり、その相互作用は通常、エストラスのような重要な条件を反映し、ビデオベースの手法はモデルのリアルタイム能力を無視している。
そこで,本稿では,牛同士の相互作用を一つのフレームでリアルタイムに認識する課題に挑戦する。
本手法のパイプラインには,キャトル局所化ネットワークとインタラクション認識ネットワークの2つの主要モジュールが含まれている。
牛のローカライゼーションネットワークは、検出されたすべての牛から高品質なインタラクション提案を出力し、それをトリプルストリームアーキテクチャによるインタラクション認識ネットワークに供給する。
このような3重ストリームネットワークは、インタラクションの認識に関連するさまざまな特徴を融合させることができます。
特に、3種類の特徴は、相互作用提案の外観表現を抽出する視覚的特徴、牛間の空間的関係を反映した幾何学的特徴、および個々の行動と牛の相互作用の関係に関する我々の事前知識を捉えた意味的特徴である。
また,ラベル付きデータの量不足の問題を解決するために,自己教師付き学習に基づいてモデルを事前学習する。
質的,定量的な評価は,牛の相互作用をリアルタイムで認識する有効な方法として,我々の枠組みの性能を示すものである。
関連論文リスト
- Disentangled Interaction Representation for One-Stage Human-Object
Interaction Detection [70.96299509159981]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。
最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。
従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
論文 参考訳（メタデータ） (2023-12-04T08:02:59Z) - Joint Engagement Classification using Video Augmentation Techniques for
Multi-person Human-robot Interaction [22.73774398716566]
本稿では,親子のダイアドの交際関係を同定するための新しい枠組みを提案する。
家庭の社会ロボットと一緒に物語本を読む親のダイアドのデータセットを用いて、まずRGBフレームと骨格ベースの関節エンゲージメント認識モデルを訓練する。
第2に,ロボット親子間相互作用における学習モデルの使用に関する実験結果を示す。
論文 参考訳（メタデータ） (2022-12-28T23:52:55Z) - Dual-stream spatiotemporal networks with feature sharing for monitoring
animals in the home cage [0.9937939233206224]
ネットワーク全体で定期的にストリームを共同で共有する機能共有アプローチを導入する。
我々は、インセプションベースのネットワークのアンサンブルを用いて、86.47%の予測精度を実現する。
今後,非教師付き異常検出領域における行動分類における共有の有効性について検討する。
論文 参考訳（メタデータ） (2022-06-01T16:32:25Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳（メタデータ） (2021-10-28T10:09:34Z) - Efficient Modelling Across Time of Human Actions and Interactions [92.39082696657874]
3つの畳み込みニューラルネットワーク(CNND)における現在の固定サイズの時間的カーネルは、入力の時間的変動に対処するために改善できると主張している。
我々は、アーキテクチャの異なるレイヤにまたがる機能の違いを強化することで、アクションのクラス間でどのようにうまく対処できるかを研究する。
提案手法は、いくつかのベンチマークアクション認識データセットで評価され、競合する結果を示す。
論文 参考訳（メタデータ） (2021-10-05T15:39:11Z) - Beyond Tracking: Using Deep Learning to Discover Novel Interactions in
Biological Swarms [3.441021278275805]
本稿では,システムレベルの状態を全体像から直接予測するディープ・ネットワーク・モデルを提案する。
結果の予測モデルは、人間の理解した予測モデルに基づいていないため、説明モジュールを使用する。
これは、行動生態学における人工知能の例である。
論文 参考訳（メタデータ） (2021-08-20T22:50:41Z) - Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。
ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-03T23:43:55Z) - Attention-Oriented Action Recognition for Real-Time Human-Robot
Interaction [11.285529781751984]
本稿では,リアルタイムインタラクションの必要性に応えるために,アテンション指向のマルチレベルネットワークフレームワークを提案する。
具体的には、プレアテンションネットワークを使用して、低解像度でシーン内のインタラクションに大まかにフォーカスする。
他のコンパクトCNNは、抽出されたスケルトンシーケンスをアクション認識用の入力として受信する。
論文 参考訳（メタデータ） (2020-07-02T12:41:28Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。