論文の概要: Precise Affordance Annotation for Egocentric Action Video Datasets

• arxiv url: http://arxiv.org/abs/2206.05424v1
• Date: Sat, 11 Jun 2022 05:13:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:31:25.103131
• Title: Precise Affordance Annotation for Egocentric Action Video Datasets
• Title（参考訳）: エゴセントリックなアクションビデオデータセットの高精度アノテーション
• Authors: Zecheng Yu, Yifei Huang, Ryosuke Furuta, Takuma Yagi, Yusuke Goutsu, Yoichi Sato
• Abstract要約: 物価は人間と物体の相互作用において重要な概念である。 既存のデータセットは、しばしばオブジェクト機能と余裕を混ぜる。 本稿では,2つの物体間の作用可能性を表す機械的作用の概念を紹介する。
• 参考スコア（独自算出の注目度）: 27.90643693526274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Object affordance is an important concept in human-object interaction, providing information on action possibilities based on human motor capacity and objects' physical property thus benefiting tasks such as action anticipation and robot imitation learning. However, existing datasets often: 1) mix up affordance with object functionality; 2) confuse affordance with goal-related action; and 3) ignore human motor capacity. This paper proposes an efficient annotation scheme to address these issues by combining goal-irrelevant motor actions and grasp types as affordance labels and introducing the concept of mechanical action to represent the action possibilities between two objects. We provide new annotations by applying this scheme to the EPIC-KITCHENS dataset and test our annotation with tasks such as affordance recognition. We qualitatively verify that models trained with our annotation can distinguish affordance and mechanical actions.
• Abstract（参考訳）: 物価は人間と物体の相互作用において重要な概念であり、人間の運動能力と物体の物理的特性に基づく行動可能性の情報を提供し、行動予測やロボット模倣学習といったタスクに寄与する。 しかし、既存のデータセットはしばしば: 1) 対象の機能性に合致すること 2 目標関連行動と余暇を混同すること、及び 3)人間の運動能力は無視する。 本稿では,目標非関係運動動作と把持型をラベルとして組み合わせ,2つの物体間の動作可能性を表現するための機械的動作の概念を導入することで,これらの問題に対処するための効率的なアノテーションスキームを提案する。 我々はEPIC-KITCHENSデータセットにこのスキームを適用して新しいアノテーションを提供し、アベイランス認識などのタスクでアノテーションをテストする。 アノテーションでトレーニングされたモデルが、アフォーマンスと機械的動作を区別できることを定性的に検証します。

関連論文リスト

• Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
  エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。 同時に1つのステージで検出と相互作用の推論を行う。 我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
  論文  参考訳（メタデータ） (2024-04-18T05:06:12Z)
• Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
  具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。 SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。 本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-08T15:22:38Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• Leveraging Next-Active Objects for Context-Aware Anticipation in Egocentric Videos [31.620555223890626]
  短期オブジェクト間相互作用予測(STA)の問題点について検討する。 本稿では,マルチモーダル・エンド・ツー・エンド・トランスフォーマー・ネットワークであるNAOGATを提案する。 我々のモデルは2つの異なるデータセット上で既存の手法より優れている。
  論文  参考訳（メタデータ） (2023-08-16T12:07:02Z)
• Object Discovery from Motion-Guided Tokens [50.988525184497334]
  自動エンコーダ表現学習フレームワークを、モーションガイダンスと中間レベルの特徴トークン化により強化する。 我々のアプローチは、解釈可能なオブジェクト固有の中間レベルの特徴の出現を可能にする。
  論文  参考訳（メタデータ） (2023-03-27T19:14:00Z)
• Fine-grained Affordance Annotation for Egocentric Hand-Object Interaction Videos [27.90643693526274]
  物価は、人間の運動能力と物体の物理的性質に基づく行動可能性に関する情報を提供する。 本稿では,これらの課題に対処するための効果的なアノテーション手法を提案する。 我々はEPIC-KITCHENSデータセットにこのスキームを適用して新しいアノテーションを提供し、アベイランス認識、ハンドオブジェクト相互作用ホットスポット予測、アベイランスのクロスドメイン評価などのタスクでアノテーションをテストする。
  論文  参考訳（メタデータ） (2023-02-07T07:05:00Z)
• Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
  本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。 動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2022-06-25T09:55:39Z)
• Improving Object Permanence using Agent Actions and Reasoning [8.847502932609737]
  既存のアプローチは、低レベルの知覚からオブジェクト永続性を学ぶ。 我々は、ロボットが実行された動作に関する知識を使用する場合、オブジェクトの永続性を改善することができると論じる。
  論文  参考訳（メタデータ） (2021-10-01T07:09:49Z)
• Property-Aware Robot Object Manipulation: a Generative Approach [57.70237375696411]
  本研究では,操作対象の隠れた特性に適応したロボットの動きを生成する方法に焦点を当てた。 本稿では,ジェネレーティブ・アドバイサル・ネットワークを利用して,オブジェクトの特性に忠実な新しいアクションを合成する可能性について検討する。 以上の結果から,ジェネレーティブ・アドバイサル・ネットは,新規かつ有意義な輸送行動を生み出すための強力なツールとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-08T14:15:36Z)
• Careful with That! Observation of Human Movements to Estimate Objects Properties [106.925705883949]
  我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。 最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
  論文  参考訳（メタデータ） (2021-03-02T08:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。