論文の概要: InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild
- arxiv url: http://arxiv.org/abs/2308.03061v2
- Date: Mon, 14 Aug 2023 12:44:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 18:43:11.892320
- Title: InterTracker: Discovering and Tracking General Objects Interacting with
Hands in the Wild
- Title（参考訳）: InterTracker: 野生の手で相互作用する一般的な物体の発見と追跡
- Authors: Yanyan Shao and Qi Ye and Wenhan Luo and Kaihao Zhang and Jiming Chen
- Abstract要約: 既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
本稿では,対話オブジェクトの追跡に手動オブジェクトのインタラクションを活用することを提案する。
提案手法は最先端の手法よりも優れている。
- 参考スコア（独自算出の注目度）: 40.489171608114574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding human interaction with objects is an important research topic
for embodied Artificial Intelligence and identifying the objects that humans
are interacting with is a primary problem for interaction understanding.
Existing methods rely on frame-based detectors to locate interacting objects.
However, this approach is subjected to heavy occlusions, background clutter,
and distracting objects. To address the limitations, in this paper, we propose
to leverage spatio-temporal information of hand-object interaction to track
interactive objects under these challenging cases. Without prior knowledge of
the general objects to be tracked like object tracking problems, we first
utilize the spatial relation between hands and objects to adaptively discover
the interacting objects from the scene. Second, the consistency and continuity
of the appearance of objects between successive frames are exploited to track
the objects. With this tracking formulation, our method also benefits from
training on large-scale general object-tracking datasets. We further curate a
video-level hand-object interaction dataset for testing and evaluation from
100DOH. The quantitative results demonstrate that our proposed method
outperforms the state-of-the-art methods. Specifically, in scenes with
continuous interaction with different objects, we achieve an impressive
improvement of about 10% as evaluated using the Average Precision (AP) metric.
Our qualitative findings also illustrate that our method can produce more
continuous trajectories for interacting objects.
- Abstract（参考訳）: オブジェクトとのインタラクションを理解することは、人工知能を具現化し、人間が対話しているオブジェクトを特定するための重要な研究トピックである。
既存の方法は相互作用する物体を見つけるためにフレームベースの検出器に依存している。
しかし、このアプローチには重い閉塞、背景の乱雑、邪魔な物体が伴う。
そこで本稿では,これらの課題を解決するために,物体間相互作用の時空間情報を利用して対話的物体を追跡する手法を提案する。
物体追跡問題のような追跡対象の事前知識がなければ,まず手と物体の空間的関係を利用してシーンから対話対象を適応的に発見する。
次に、連続するフレーム間のオブジェクトの出現の一貫性と連続性を利用して、オブジェクトを追跡する。
この追跡定式化により,大規模汎用オブジェクト追跡データセットのトレーニングにも有効である。
さらに、100DOHからテストおよび評価を行うためのビデオレベルのハンドオブジェクトインタラクションデータセットをキュレートする。
その結果,提案手法は最先端の手法よりも優れていた。
具体的には,異なる対象と連続的に相互作用する場面において,平均精度(ap)指標を用いて評価した場合,約10%の印象的な改善が得られた。
また,本手法は相互作用する物体に対してより連続的な軌跡を生成できることを示す。
関連論文リスト
- Articulated Object Manipulation using Online Axis Estimation with SAM2-Based Tracking [59.87033229815062]
アーティキュレートされたオブジェクト操作は、オブジェクトの軸を慎重に考慮する必要がある、正確なオブジェクトインタラクションを必要とする。
従来の研究では、対話的な知覚を用いて関節のある物体を操作するが、通常、オープンループのアプローチは相互作用のダイナミクスを見渡すことに悩まされる。
本稿では,対話的知覚と3次元点雲からのオンライン軸推定を統合したクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-24T17:59:56Z) - Simultaneous Detection and Interaction Reasoning for Object-Centric Action Recognition [21.655278000690686]
エンドツーエンドのオブジェクト中心のアクション認識フレームワークを提案する。
同時に1つのステージで検出と相互作用の推論を行う。
我々はSomes-ElseとIkea-Assemblyという2つのデータセットで実験を行う。
論文 参考訳（メタデータ） (2024-04-18T05:06:12Z) - Object-agnostic Affordance Categorization via Unsupervised Learning of
Graph Embeddings [6.371828910727037]
オブジェクトのインタラクションやアベイランスに関する知識を取得することで、シーン理解や人間とロボットのコラボレーション作業が容易になる。
オープンな相互作用の集合を持つクラス非依存オブジェクトに対する割当分類の問題に対処する。
アクティビティグラフの構築のために,新しい深度情報を用いた定性的空間表現を提案する。
論文 参考訳（メタデータ） (2023-03-30T15:04:04Z) - Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。
本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。
提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
論文 参考訳（メタデータ） (2022-11-16T10:01:33Z) - Discovering a Variety of Objects in Spatio-Temporal Human-Object
Interactions [45.92485321148352]
毎日のHOIでは、人間が掃除中に何十もの家庭用品を持って触れるなど、さまざまな物と対話することが多い。
51のインタラクションと1000以上のオブジェクトを含むDIO(Discoveringed Objects)。
ST-HOI学習タスクは、視覚システムが人間のアクターを追跡し、相互作用を検出し、同時に物体を発見することを期待するものである。
論文 参考訳（メタデータ） (2022-11-14T16:33:54Z) - SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric
Action Recognition [35.4163266882568]
本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。
OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
論文 参考訳（メタデータ） (2022-04-10T23:27:19Z) - Skeleton-Based Mutually Assisted Interacted Object Localization and
Human Action Recognition [111.87412719773889]
本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。
本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
論文 参考訳（メタデータ） (2021-10-28T10:09:34Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳（メタデータ） (2021-03-26T04:43:04Z) - A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。
本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。
本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-18T15:34:41Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。