論文の概要: Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning

• arxiv url: http://arxiv.org/abs/2503.00986v1
• Date: Sun, 02 Mar 2025 18:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:18:44.150019
• Title: Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning
• Title（参考訳）: Egocentric Video Representation Learningのための細粒ハンドオブジェクトダイナミクスのモデリング
• Authors: Baoqi Pei, Yifei Huang, Jilan Xu, Guo Chen, Yuping He, Lijin Yang, Yali Wang, Weidi Xie, Yu Qiao, Fei Wu, Limin Wang,
• Abstract要約: エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。 本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。 EgoVideoは,手の動き情報を微粒化するための,新しい軽量モーションアダプタを備えたモデルである。
• 参考スコア（独自算出の注目度）: 71.02843679746563
• License:
• Abstract: In egocentric video understanding, the motion of hands and objects as well as their interactions play a significant role by nature. However, existing egocentric video representation learning methods mainly focus on aligning video representation with high-level narrations, overlooking the intricate dynamics between hands and objects. In this work, we aim to integrate the modeling of fine-grained hand-object dynamics into the video representation learning process. Since no suitable data is available, we introduce HOD, a novel pipeline employing a hand-object detector and a large language model to generate high-quality narrations with detailed descriptions of hand-object dynamics. To learn these fine-grained dynamics, we propose EgoVideo, a model with a new lightweight motion adapter to capture fine-grained hand-object motion information. Through our co-training strategy, EgoVideo effectively and efficiently leverages the fine-grained hand-object dynamics in the HOD data. Extensive experiments demonstrate that our method achieves state-of-the-art performance across multiple egocentric downstream tasks, including improvements of 6.3% in EK-100 multi-instance retrieval, 5.7% in EK-100 classification, and 16.3% in EGTEA classification in zero-shot settings. Furthermore, our model exhibits robust generalization capabilities in hand-object interaction and robot manipulation tasks. Code and data are available at https://github.com/OpenRobotLab/EgoHOD/.
• Abstract（参考訳）: エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。 しかし,既存の自己中心型ビデオ表現学習手法は,手と物体の複雑なダイナミクスを見越して,映像表現と高レベルのナレーションの整合性に重点を置いている。 本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。 適切なデータがないため,手動物体検出器と大規模言語モデルを用いた,手動物体力学の詳細な記述を含む高品質なナレーションを生成する新しいパイプラインであるHODを導入する。 これらの微粒なダイナミクスを学習するために,手・物体の運動情報を微粒化するための,新しい軽量なモーションアダプタを備えたモデルであるEgoVideoを提案する。 EgoVideoは,共同学習戦略を通じて,HODデータ中の細粒度ハンドオブジェクトのダイナミクスを効果的かつ効率的に活用する。 EK-100マルチインスタンス検索の6.3%、EK-100分類の5.7%、ゼロショット設定のEGTEA分類の16.3%の改善を含む、複数のエゴセントリックダウンストリームタスクにおける最先端性能の実現が実証された。 さらに,本モデルでは,手動操作やロボット操作作業において,堅牢な一般化機能を示す。 コードとデータはhttps://github.com/OpenRobotLab/EgoHOD/.comで公開されている。

関連論文リスト

• ManiVideo: Generating Hand-Object Manipulation Video with Dexterous and Generalizable Grasping [37.40475678197331]
  ManiVideoは、一貫した時間的コヒーレントな双方向手動操作ビデオを生成する方法である。 MLO構造をUNetに2つの形式で埋め込むことで、デキスタラスハンドオブジェクト操作の3次元一貫性を高めることができる。 複数のデータセットを効果的に統合し、人中心手オブジェクト操作ビデオ生成などの下流タスクをサポートする革新的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-18T00:37:55Z)
• Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback [130.090296560882]
  テキスト・ビデオ・モデルにおけるオブジェクトの動的性を高めるためのフィードバックの利用について検討する。 本手法は,動的インタラクションにおける映像品質の大幅な向上を駆動するバイナリAIフィードバックを用いて,多様な報酬を効果的に最適化できることを示す。
  論文  参考訳（メタデータ） (2024-12-03T17:44:23Z)
• Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
  ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。 DF-Fieldは分散力認識型接触表現モデルである。 剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
  論文  参考訳（メタデータ） (2024-11-14T16:29:45Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object Video Generation [26.292052071093945]
  単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。 我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。 ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T19:50:02Z)
• Interaction Region Visual Transformer for Egocentric Action Anticipation [18.873728614415946]
  本研究では,エゴセントリックな行動予測のための人間と物体の相互作用を表現する新しい手法を提案する。 空間的クロスアテンションを用いた手と物体の相互作用をモデル化する。 次に,トラジェクトリ・クロス・アテンションを用いてコンテキスト情報を注入し,環境に合った対話トークンを得る。 これらのトークンを用いて,アクション予測のためのインタラクション中心のビデオ表現を構築する。
  論文  参考訳（メタデータ） (2022-11-25T15:00:51Z)
• Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications [20.571026014771828]
  11,243枚のエゴセントリックな画像からなるラベル付きデータセットを,手とオブジェクトのピクセルごとのセグメンテーションラベルで提供する。 私たちのデータセットは、ハンドオブジェクトの接触境界をラベル付けした最初のものです。 我々の堅牢なハンドオブジェクトセグメンテーションモデルとデータセットは、下流の視覚アプリケーションを強化または有効化するための基本的なツールとして機能することを示します。
  論文  参考訳（メタデータ） (2022-08-07T21:43:40Z)
• Masked World Models for Visual Control [90.13638482124567]
  視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。 提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。