論文の概要: Automatic Interaction and Activity Recognition from Videos of Human Manual Demonstrations with Application to Anomaly Detection

• arxiv url: http://arxiv.org/abs/2304.09789v2
• Date: Fri, 7 Jul 2023 08:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 15:23:57.713598
• Title: Automatic Interaction and Activity Recognition from Videos of Human Manual Demonstrations with Application to Anomaly Detection
• Title（参考訳）: 人間の手動デモ映像からの自動インタラクションとアクティビティ認識と異常検出への応用
• Authors: Elena Merlo (1, 2), Marta Lagomarsino (1, 3), Edoardo Lamon (1, 4), Arash Ajoudani (1) ((1) Human-Robot Interfaces and Interaction Laboratory, Istituto Italiano di Tecnologia, Genoa, Italy, (2) Dept. of Informatics, Bioengineering, Robotics, and Systems Engineering, University of Genoa, Genoa, Italy, (3) Dept. of Electronics, Information and Bioengineering, Politecnico di Milano, Milan, Italy, (4) Dept. of Information Engineering and Computer Science, University of Trento, Trento, Italy)
• Abstract要約: 本稿では、シーングラフを利用して、動きパターンとコンテキストを同時に処理しながら、画像シーケンスから重要な相互作用特徴を抽出する。 イベントベースの自動ビデオセグメンテーションとクラスタリングを導入し、同様のイベントをグループ化して、監視されたアクティビティが正しく実行されるかどうかを検出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new method to describe spatio-temporal relations between objects and hands, to recognize both interactions and activities within video demonstrations of manual tasks. The approach exploits Scene Graphs to extract key interaction features from image sequences while simultaneously encoding motion patterns and context. Additionally, the method introduces event-based automatic video segmentation and clustering, which allow for the grouping of similar events and detect if a monitored activity is executed correctly. The effectiveness of the approach was demonstrated in two multi-subject experiments, showing the ability to recognize and cluster hand-object and object-object interactions without prior knowledge of the activity, as well as matching the same activity performed by different subjects.
• Abstract（参考訳）: 本稿では,手動作業のビデオデモにおけるインタラクションと活動の両方を認識するために,物体と手動の時空間関係を記述する新しい手法を提案する。 このアプローチはシーングラフを利用して、動きパターンとコンテキストを同時にエンコードしながら、画像シーケンスから重要なインタラクション特徴を抽出する。 さらに、同様のイベントをグループ化し、監視されたアクティビティが正しく実行されるかどうかを検出するイベントベースの自動ビデオセグメンテーションとクラスタリングを導入する。 本手法の有効性は,2つの多目的実験において実証され,活動の事前知識を必要とせず,対象物と対象物との相互作用を認識・クラスタリングする能力と,異なる被験者が行う同一の活動とが一致した。

関連論文リスト

• Visual-Geometric Collaborative Guidance for Affordance Learning [63.038406948791454]
  本稿では,視覚的・幾何学的手がかりを取り入れた視覚・幾何学的協調学習ネットワークを提案する。 本手法は,客観的指標と視覚的品質の代表的なモデルより優れている。
  論文  参考訳（メタデータ） (2024-10-15T07:35:51Z)
• Disentangled Interaction Representation for One-Stage Human-Object Interaction Detection [70.96299509159981]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、人間中心の画像理解のコアタスクである。 最近のワンステージ手法では、対話予測に有用な画像ワイドキューの収集にトランスフォーマーデコーダを採用している。 従来の2段階の手法は、非絡み合いで説明可能な方法で相互作用特徴を構成する能力から大きな恩恵を受ける。
  論文  参考訳（メタデータ） (2023-12-04T08:02:59Z)
• Multi-Task Learning based Video Anomaly Detection with Attention [1.2944868613449219]
  本稿では,動作と外観をよりよく考慮するために,補完的なプロキシタスクを組み合わせた新しいマルチタスク学習手法を提案する。 我々は1つのブランチにおけるセマンティックセグメンテーションと将来のフレーム予測タスクを組み合わせて、オブジェクトクラスと一貫した動作パターンを学習する。 第2枝では、対象部位、動き方向、カメラからの物体の距離に注意を向けた動き異常を検出するためのいくつかの注意機構を付加した。
  論文  参考訳（メタデータ） (2022-10-14T10:40:20Z)
• Audio-Adaptive Activity Recognition Across Video Domains [112.46638682143065]
  ドメイン間のばらつきが少なく、どのアクティビティが起こっていないかを確実に示すことができるので、ドメイン適応のためにアクティビティサウンドを活用します。 視覚特徴表現を識別的に調整するオーディオ適応型エンコーダと学習方法を提案する。 また、アクターシフトという新たなタスクを対応するオーディオ・ビジュアル・データセットで導入し、アクターの出現が劇的に変化する状況において、我々の手法に挑戦する。
  論文  参考訳（メタデータ） (2022-03-27T08:15:20Z)
• Hand-Object Interaction Reasoning [33.612083150296364]
  両手インタラクションのモデル化は,エゴ符号化ビデオにおける動作認識に重要であることを示す。 ビデオ中の手と物体の時間的関係をモデル化するためのインタラクション推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-13T11:53:12Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• The Object at Hand: Automated Editing for Mixed Reality Video Guidance from Hand-Object Interactions [24.68535915849555]
  我々は、エゴセントリックなビジョンを用いて、現実世界のタスクにおける手動物体の相互作用を観察し、その構成ステップに自動的にビデオを分解する。 本手法では,手動オブジェクト間相互作用(HOI)検出,オブジェクト類似度測定,有限状態マシン(FSM)表現を組み合わせて,動画の自動編集を行う。
  論文  参考訳（メタデータ） (2021-09-29T22:24:25Z)
• Motion Guided Attention Fusion to Recognize Interactions from Videos [40.1565059238891]
  ビデオからの細かいインタラクションを認識するためのデュアルパスアプローチを提案する。 動作経路のボトムアップ特徴と物体検出から捉えた特徴を融合させて、動作の時間的側面を学習する。 提案手法は外見を効果的に一般化し,アクターがこれまで見つからなかった物体と相互作用する動作を認識する。
  論文  参考訳（メタデータ） (2021-04-01T17:44:34Z)
• Learning Asynchronous and Sparse Human-Object Interaction in Videos [56.73059840294019]
  Asynchronous-Sparse Interaction Graph Networks(ASSIGN)は、ビデオシーン内のエンティティに関連するインタラクションイベントの構造を自動的に検出します。 ASSIGNは人間と物体の相互作用認識において試験され、人間のサブアクティビティのセグメンテーションおよびラベル付けにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-03T23:43:55Z)
• Improved Actor Relation Graph based Group Activity Recognition [0.0]
  人間の行動やグループ活動の詳細な説明は必須情報であり、リアルタイムCCTVビデオ監視、医療、スポーツビデオ分析などに利用することができる。 本研究では,一対のアクターの外観的類似性とアクターの位置を学習することで,グループ活動認識を主眼とする映像理解手法を提案する。
  論文  参考訳（メタデータ） (2020-10-24T19:46:49Z)
• Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos [76.21297023629589]
  そこで本稿では,ビデオの各対のモダリティの相補的情報をよりよく活用するために,ペアワイズなモダリティ相互作用を学習するための新しい手法を提案する。 提案手法は,4つの標準ベンチマークデータセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-28T12:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。