論文の概要: Human Hands as Probes for Interactive Object Understanding
- arxiv url: http://arxiv.org/abs/2112.09120v1
- Date: Thu, 16 Dec 2021 18:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-17 13:43:38.321603
- Title: Human Hands as Probes for Interactive Object Understanding
- Title(参考訳): 対話的物体理解のためのプローブとしての人間手
- Authors: Mohit Goyal and Sahil Modi and Rishabh Goyal and Saurabh Gupta
- Abstract要約: 人間の手の動きと、関連するデータと必要な監視の両方を提供する方法の観察を実証する。
EPIC-KITCHENSデータセットにこれらの基本原理を適用し、状態に敏感な特徴をうまく学習する。
- 参考スコア(独自算出の注目度): 8.330625683887957
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive object understanding, or what we can do to objects and how is a
long-standing goal of computer vision. In this paper, we tackle this problem
through observation of human hands in in-the-wild egocentric videos. We
demonstrate that observation of what human hands interact with and how can
provide both the relevant data and the necessary supervision. Attending to
hands, readily localizes and stabilizes active objects for learning and reveals
places where interactions with objects occur. Analyzing the hands shows what we
can do to objects and how. We apply these basic principles on the EPIC-KITCHENS
dataset, and successfully learn state-sensitive features, and object
affordances (regions of interaction and afforded grasps), purely by observing
hands in egocentric videos.
- Abstract(参考訳): インタラクティブなオブジェクト理解、あるいはオブジェクトに何ができるか、そしてコンピュータビジョンの長年の目標がどうあるのか。
そこで本研究では,人間の手の動きを観察することでこの問題に対処する。
人間の手の動きと、関連するデータと必要な監視の両方を提供する方法の観察を実証する。
手に触れると、アクティブなオブジェクトをローカライズし、安定化して学習し、オブジェクトとのインタラクションが発生する場所を明らかにする。
手を分析すれば、オブジェクトに何ができるか、どのようにできるのかがわかる。
我々はこれらの基本原則をepic-kitchensデータセットに適用し、状態に敏感な特徴とオブジェクトアフォーアンス(インタラクションとアフォーメントの領域)を学習することに成功しました。
関連論文リスト
- HandMeThat: Human-Robot Communication in Physical and Social
Environments [73.91355172754717]
HandMeThatは、物理的および社会的環境における命令理解とフォローの総合評価のためのベンチマークである。
HandMeThatには、人間とロボットの対話の1万エピソードが含まれている。
オフラインとオンラインの強化学習アルゴリズムはHandMeThatでは性能が良くないことを示す。
論文 参考訳(メタデータ) (2023-10-05T16:14:46Z) - AffordPose: A Large-scale Dataset of Hand-Object Interactions with
Affordance-driven Hand Pose [16.65196181081623]
AffordPoseは、手動ポーズによる手動オブジェクトインタラクションの大規模データセットである。
計26.7Kのハンドオブジェクトインタラクションを収集し、それぞれ3次元オブジェクト形状、部分レベルアベイランスラベル、手動で調整した手ポーズを含む。
包括的データ分析は、手-物間相互作用の共通特性と多様性を示している。
論文 参考訳(メタデータ) (2023-09-16T10:25:28Z) - GRIP: Generating Interaction Poses Using Latent Consistency and Spatial
Cues [60.90013719118856]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳(メタデータ) (2023-08-22T17:59:51Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - Weakly Supervised Human-Object Interaction Detection in Video via
Contrastive Spatiotemporal Regions [81.88294320397826]
システムは、ビデオに人間と物体の相互作用が存在するか、あるいは人間と物体の実際の位置を知らない。
文節から収集した人-物間相互作用による6.5k以上のビデオからなるデータセットを提案する。
ビデオデータセットのアノテーションに適応した弱教師付きベースラインの性能向上を実証した。
論文 参考訳(メタデータ) (2021-10-07T15:30:18Z) - Capturing the objects of vision with neural networks [0.0]
人間の視覚知覚はその物理的関節でシーンを彫り、世界をオブジェクトに分解する。
対照的に、視覚物体認識のディープニューラルネットワーク(DNN)モデルは、主に感覚入力と結びついている。
両分野の関連研究をレビューし、これらの分野が相互にどのように役立つかを検討する。
論文 参考訳(メタデータ) (2021-09-07T21:49:53Z) - Careful with That! Observation of Human Movements to Estimate Objects
Properties [106.925705883949]
我々は、物体の重さについての洞察を伝える人間の運動行動の特徴に焦点を当てる。
最後の目標は、ロボットがオブジェクトハンドリングに必要なケアの度合いを自律的に推測できるようにすることです。
論文 参考訳(メタデータ) (2021-03-02T08:14:56Z) - Object Properties Inferring from and Transfer for Human Interaction
Motions [51.896592493436984]
本稿では,人間のインタラクション動作のみからオブジェクト特性を推測する,きめ細かい動作認識手法を提案する。
我々は、慣性モーションキャプチャー装置を用いて、演奏者の多数のビデオと3D骨格の動きを収集する。
特に, 相互作用対象の重み, 脆弱性, デリカシーを推定することにより, 相互作用対象の同定を学習する。
論文 参考訳(メタデータ) (2020-08-20T14:36:34Z) - Learning About Objects by Learning to Interact with Them [29.51363040054068]
人間はしばしば、外部の監督をほとんど、あるいは全く行わずに自分の世界について学ぶ。
物体を発見し,その物理特性を学習する計算フレームワークを提案する。
我々のエージェントは、近距離フォトリアリスティックで物理対応のAI2-THOR環境の中に置かれると、その世界と対話し、物体について学ぶ。
論文 参考訳(メタデータ) (2020-06-16T16:47:50Z) - Hand-Priming in Object Localization for Assistive Egocentric Vision [45.38703542455732]
エゴセントリックなビジョンは、視覚情報へのアクセスを増やし、視覚障害者の生活の質を向上させるための大きな約束を持っています。
対象物の中心領域を予備化するための文脈情報として手の存在を利用するローカライゼーションモデルを提案する。
視覚障害者や視覚障害者の自我中心のデータセットを用いて、手作りが他の手法よりも精度が高いことを示す。
論文 参考訳(メタデータ) (2020-02-28T05:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。