論文の概要: Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics

• arxiv url: http://arxiv.org/abs/2501.07100v1
• Date: Mon, 13 Jan 2025 07:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:28:15.168266
• Title: Collaborative Learning for 3D Hand-Object Reconstruction and Compositional Action Recognition from Egocentric RGB Videos Using Superquadrics
• Title（参考訳）: スーパークワッドリックを用いた3次元手動物体再構成とエゴセントリックRGB映像からの合成行動認識のための協調学習
• Authors: Tze Ho Elden Tse, Runyang Feng, Linfang Zheng, Jiho Park, Yixing Gao, Jihie Kim, Ales Leonardis, Hyung Jin Chang,
• Abstract要約: 境界ボックスに対する3次元オブジェクト表現の代替としてスーパークワッドリックを活用することを提案する。 テンプレートレスオブジェクト再構成とアクション認識の両タスクで有効性を示す。 また,動詞と名詞の訓練組み合わせがテスト分割と重複しない,より困難な課題を考慮し,行動の構成性についても検討した。
• 参考スコア（独自算出の注目度）: 31.819336585007104
• License:
• Abstract: With the availability of egocentric 3D hand-object interaction datasets, there is increasing interest in developing unified models for hand-object pose estimation and action recognition. However, existing methods still struggle to recognise seen actions on unseen objects due to the limitations in representing object shape and movement using 3D bounding boxes. Additionally, the reliance on object templates at test time limits their generalisability to unseen objects. To address these challenges, we propose to leverage superquadrics as an alternative 3D object representation to bounding boxes and demonstrate their effectiveness on both template-free object reconstruction and action recognition tasks. Moreover, as we find that pure appearance-based methods can outperform the unified methods, the potential benefits from 3D geometric information remain unclear. Therefore, we study the compositionality of actions by considering a more challenging task where the training combinations of verbs and nouns do not overlap with the testing split. We extend H2O and FPHA datasets with compositional splits and design a novel collaborative learning framework that can explicitly reason about the geometric relations between hands and the manipulated object. Through extensive quantitative and qualitative evaluations, we demonstrate significant improvements over the state-of-the-arts in (compositional) action recognition.
• Abstract（参考訳）: エゴセントリックな3Dオブジェクトインタラクションデータセットが利用可能になるにつれ、手動ポーズ推定とアクション認識のための統一モデルの開発への関心が高まっている。 しかし、既存の手法では、物体の形状や動きを3Dバウンディングボックスを使って表現することの制限により、見えない物体の観察行動を認識するのに苦慮している。 さらに、テスト時のオブジェクトテンプレートへの依存は、その一般化性を目に見えないオブジェクトに制限する。 これらの課題に対処するために,スーパークワッドリックをバウンディングボックスに代替する3次元オブジェクト表現として活用し,テンプレートレスオブジェクト再構成とアクション認識の両タスクで有効性を示すことを提案する。 さらに、純粋な外観に基づく手法は統一された手法よりも優れていることが判明したので、3次元幾何学的情報から得られる潜在的な利点はいまだ不明である。 そこで我々は,動詞と名詞の訓練組み合わせがテスト分割と重複しない,より困難な課題を考慮し,行動の構成性について検討した。 我々はH2OとFPHAデータセットを合成分割で拡張し、手と操作対象との幾何学的関係を明確に推論できる新しい協調学習フレームワークを設計する。 定量的および定性的な評価を通じて, 動作認識における最先端技術に対する顕著な改善が示された。

関連論文リスト

• Interpretable Action Recognition on Hard to Classify Actions [11.641926922266347]
  人間は、明確に認識された物体と部分の間の批判的時間的関係を認識することによって、ビデオにおける複雑な活動を認識する。 これを模倣するために、物体と手の位置と動きを利用したモデルを構築し、その活動が起こっていることを認識します。 このモデルを改善するために、最も混乱した3つのクラス(このモデル)に注目し、3D情報の欠如が大きな問題であることを確認した。 オブジェクトの形状情報を既存のオブジェクトの特徴に統合するために,“Container”と“NotContainer”の違いを決定するために,最先端のオブジェクト検出モデルを微調整した。
  論文  参考訳（メタデータ） (2024-09-19T21:23:44Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution [49.10497573378427]
  インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
  論文  参考訳（メタデータ） (2022-04-27T17:00:54Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• SOS! Self-supervised Learning Over Sets Of Handled Objects In Egocentric Action Recognition [35.4163266882568]
  本稿では,SOS(Self-Supervised Learning Over Sets)を導入し,OIC(ジェネリック・オブジェクト・イン・コンタクト)表現モデルを事前学習する。 OICは複数の最先端ビデオ分類モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-04-10T23:27:19Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects [19.296344218177534]
  3次元の明瞭な物体の空間は、その無数の意味圏、多様な形状幾何学、複雑な部分関数に非常に豊富である。 それまでの作業は, 関節パラメータを推定し, 3次元関節物体の視覚的表現として機能する, 抽象運動学的な構造が主流であった。 本研究では,物体中心の動作可能な視覚的先入観を,知覚システムが運動構造推定よりも動作可能なガイダンスを出力する,新しい知覚-相互作用ハンドシェイキングポイントとして提案する。
  論文  参考訳（メタデータ） (2021-06-28T07:47:31Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。