論文の概要: GigaHands: A Massive Annotated Dataset of Bimanual Hand Activities

• arxiv url: http://arxiv.org/abs/2412.04244v2
• Date: Fri, 13 Dec 2024 22:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:10.900982
• Title: GigaHands: A Massive Annotated Dataset of Bimanual Hand Activities
• Title（参考訳）: GigaHands: 両手の活動に関する大量の注釈付きデータセット
• Authors: Rao Fu, Dingxi Zhang, Alex Jiang, Wanjia Fu, Austin Funk, Daniel Ritchie, Srinath Sridhar,
• Abstract要約: GigaHandsは56人の被験者と417のオブジェクトから34時間の両手の動きを捉えた巨大な注釈付きデータセットである。 マーカレスキャプチャのセットアップとデータ取得プロトコルにより,完全自動3Dハンドとオブジェクト推定が可能となる。
• 参考スコア（独自算出の注目度）: 16.094825384244604
• License:
• Abstract: Understanding bimanual human hand activities is a critical problem in AI and robotics. We cannot build large models of bimanual activities because existing datasets lack the scale, coverage of diverse hand activities, and detailed annotations. We introduce GigaHands, a massive annotated dataset capturing 34 hours of bimanual hand activities from 56 subjects and 417 objects, totaling 14k motion clips derived from 183 million frames paired with 84k text annotations. Our markerless capture setup and data acquisition protocol enable fully automatic 3D hand and object estimation while minimizing the effort required for text annotation. The scale and diversity of GigaHands enable broad applications, including text-driven action synthesis, hand motion captioning, and dynamic radiance field reconstruction. Our website are avaliable at https://ivl.cs.brown.edu/research/gigahands.html .
• Abstract（参考訳）: 人間の手の動きを理解することは、AIやロボット工学において重要な問題である。 既存のデータセットにはスケール、多様な手作業のカバレッジ、詳細なアノテーションが欠けているため、バイマニュアルアクティビティの大規模なモデルを構築することはできません。 56件の被験者と417件のオブジェクトから34時間の両手の動きを収集し,84kのテキストアノテーションと組み合わせた1億8300万のフレームから1,400万のモーションクリップを抽出した。 我々のマーカレスキャプチャ・セットアップとデータ取得プロトコルは、テキストアノテーションに必要な労力を最小限に抑えながら、3Dハンドとオブジェクトの完全な自動推定を可能にする。 GigaHandsのスケールと多様性は、テキスト駆動のアクション合成、手の動きのキャプション、動的放射野再構成など幅広い応用を可能にする。 私たちのウェブサイトはhttps://ivl.cs.brown.edu/research/gigahands.htmlで評価できます。

関連論文リスト

• MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
  我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。 私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:31:24Z)
• Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild [66.34146236875822]
  ニメリアデータセット(Nymeria dataset)は、複数のマルチモーダル・エゴセントリックなデバイスで野生で収集された、大規模で多様な、多彩な注釈付けされた人間のモーションデータセットである。 合計で399Kmを走行し、50か所にわたる264人の参加者から毎日300時間の録音を1200件記録している。 動作言語記述は、語彙サイズ6545の8.64万語で310.5K文を提供する。
  論文  参考訳（メタデータ） (2024-06-14T10:23:53Z)
• ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living [4.221961702292134]
  ADL4Dは、日々の生活活動(ADL)を行う異なる対象のセットで行動する、最大2人の被験者のデータセットである 我々のデータセットは75のシーケンスで構成されており、合計1.1MのRGB-Dフレーム、手とオブジェクトのポーズ、手ごとのきめ細かいアクションアノテーションで構成されています。 マルチビュー・マルチハンド3Dポーズ・アンノベーションのための自動システムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T18:51:52Z)
• TACO: Benchmarking Generalizable Bimanual Tool-ACtion-Object Understanding [44.206222326616526]
  TACOは、日々の人間活動のための多種多様なツール・アクション・オブジェクト・コンポジションにまたがる広範囲なデータセットである。 TACOには、第三者や自我中心のビュー、正確な手動3Dメッシュ、アクションラベルと組み合わせた2.5Kのモーションシーケンスが含まれている。 本研究は,構成動作認識,一般化可能なハンドオブジェクト動作予測,協調的グリップ合成という,汎用的な3つのハンドオブジェクトインタラクションタスクをベンチマークする。
  論文  参考訳（メタデータ） (2024-01-16T14:41:42Z)
• BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
  両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。 私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。 また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
  論文  参考訳（メタデータ） (2023-12-13T07:30:19Z)
• Motion-X: A Large-scale 3D Expressive Whole-body Human Motion Dataset [40.54625833855793]
  Motion-Xは、大規模な3D表現型全身運動データセットである。 15.6Mの正確な3Dボディのポーズアノテーション(SMPL-X)で、巨大なシーンから81.1Kのモーションシーケンスをカバーしている。 Motion-Xは15.6Mフレームレベルの全身ポーズ記述と81.1Kシーケンスレベルのセマンティックラベルを提供する。
  論文  参考訳（メタデータ） (2023-07-03T07:57:29Z)
• Multi-Granularity Hand Action Detection [58.88274905101276]
  FHA-Kitchensデータセットは2,377のビデオクリップと30,047フレームで構成され、約200kのバウンディングボックスと880のアクションカテゴリがアノテートされている。 このデータセットは2,377のビデオクリップと30,047フレームで構成され、約200kのバウンディングボックスと880のアクションカテゴリが注釈付けされている。 MG-HAD (End-to-End Multi-Granularity Hand Action Detection) を提案する。
  論文  参考訳（メタデータ） (2023-06-19T11:21:59Z)
• AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation [26.261767086366866]
  正確な3Dハンドポーズアノテーションを備えた大規模ベンチマークデータセットである AssemblyHands を提示する。 AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供する。 我々の研究は、高品質の手のポーズが、行動を認識する能力を直接的に改善することを示しています。
  論文  参考訳（メタデータ） (2023-04-24T17:52:57Z)
• Large Scale Interactive Motion Forecasting for Autonomous Driving : The Waymo Open Motion Dataset [84.3946567650148]
  10万枚以上のシーンが10Hzで20秒に渡り、私たちの新しいデータセットには1750kmの道路上の570時間以上のユニークなデータが含まれています。 高精度な3d自動ラベルシステムを用いて,道路エージェント毎に高品質な3dバウンディングボックスを生成する。 シングルエージェントとジョイントエージェントの相互作用運動予測モデルの両方を総合的に評価する新しいメトリクスセットを紹介します。
  論文  参考訳（メタデータ） (2021-04-20T17:19:05Z)
• The IKEA ASM Dataset: Understanding People Assembling Furniture through Actions, Objects and Pose [108.21037046507483]
  IKEA ASMは300万フレーム、マルチビュー、家具組み立てビデオデータセットで、深さ、原子活動、オブジェクトセグメンテーション、人間のポーズを含む。 我々は,この課題のあるデータセット上で,映像行動認識,オブジェクトセグメンテーション,人間のポーズ推定タスクの顕著な手法をベンチマークする。 このデータセットは、マルチモーダルデータとマルチビューデータを統合してこれらのタスクをよりよく実行する、全体論的手法の開発を可能にする。
  論文  参考訳（メタデータ） (2020-07-01T11:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。