論文の概要: MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding

• arxiv url: http://arxiv.org/abs/2610.41127v1
• Date: Fri, 30 Oct 2026 01:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.583351
• Title: MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding
• Title（参考訳）: MotorSense:アクション理解のための運動表現のビデオEMGデータセット
• Abstract要約: MotorSenseは、最初の大規模ビデオおよび表面筋電図データセットである。 バイマンのEMGバンドとエゴセントリックなビデオとを組み合わせ、同期ビデオ、バイマンのEMGとIMU、100時間にわたって音声を再生する。 本稿では、EMGモータ信号をビデオ拡散モデルに応用する生成的応用を実証する。
• 参考スコア（独自算出の注目度）: 45.565192405521806
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Computer vision models learn hand action only from its visual consequences, without access to the underlying embodied motor signals. We address this absence with MotorSense, the first large-scale paired egocentric video and surface electromyography (EMG) dataset. MotorSense pairs bimanual EMG bands with egocentric video and yields synchronized video, bimanual EMG and IMU, and audio across 100 hours of unscripted manipulation. EMG offers a powerful scalable alternative to manual annotation: it captures finger movement, hand configuration, and the forces exerted between hand and environment as a dense signal free of occlusion and labeler bias, whereas manual annotation is costly, subjective, and unreliable under occlusion. We use MotorSense to learn sensorimotor alignment, producing an organization of action that is shared across the visual and motoric spaces, through cross-modal pre-training between video and EMG. The resultant vision models are then transferred to downstream tasks that benefit from sensorimotor alignment: in this case, action recognition, 3D hand reconstruction, and 3D contact reconstruction. We further demonstrate a generative application in which EMG motor signals are used to condition a video diffusion model, yielding videos of fine-grained hand manipulation. Across four action-centric computer vision tasks and eight popular video datasets, we demonstrate that sensorimotor alignment provides a stronger foundation for visual representation learning than conventional self-supervised learning methods over video, outperforming every baseline across all tasks and datasets evaluated.
• Abstract（参考訳）: コンピュータビジョンモデルは、基礎となる運動信号にアクセスすることなく、その視覚的な結果からのみ手の動きを学ぶ。 このことは、EMG(Egocentric Video and Surface Electromyography)データセットの最初の大規模ペアであるMotorSenseでは解決できない。 MotorSenseは、エゴセントリックなビデオとバイマンのEMGバンドをペアリングし、同期ビデオ、バイマンのEMGとIMUを出力し、100時間にわたって音声を再生する。 EMGは手動アノテーションの強力な代替手段を提供する。手動動作、手動構成、および手動と環境の間の力は、隠蔽とラベル付けバイアスのない高密度信号として捉えられるが、手動アノテーションはコストが高く、主観的で、閉塞下では信頼できない。 我々は、MotorSenseを用いて、映像と筋電図間のクロスモーダル事前トレーニングを通じて、視覚空間と運動空間間で共有される行動の組織を生成する。 結果として得られる視覚モデルは、感覚運動のアライメントの恩恵を受ける下流タスクに転送される:この場合、アクション認識、3Dハンド再構成、および3Dコンタクト再構成である。 さらに、EMGモータ信号を用いてビデオ拡散モデルの条件付けを行い、細粒度の手操作のビデオを出力する生成的応用を実証する。 4つのアクション中心のコンピュータビジョンタスクと8つの一般的なビデオデータセットにおいて、センサモレータアライメントは、ビデオ上の従来の自己教師あり学習方法よりも視覚表現学習の基盤となることを実証し、すべてのタスクやデータセットに対して全てのベースラインを上回ります。

関連論文リスト

• A DVDrive Approach for doScenes Instructed Driving Challenge [42.41052099695495]
  本稿では,OmniDrive上に構築されたdoScenes Instructed Driving Challengeについて述べる。 OmniDriveをdoScenes設定に適応させ、命令付のnuScenesシーンでトレーニングします。 マルチビューの視覚的グラウンドを改善するために,DVPE方式の分割ビュー認識モジュールを導入する。
  論文  参考訳（メタデータ） (2026-06-19T17:26:58Z)
• Learning to Drive is a Free Gift: Large-Scale Label-Free Autonomy Pretraining from Unposed In-The-Wild Videos [20.73513310337503]
  オンラインで利用できるエゴ中心の運転ビデオは、自動運転のための豊富な視覚的データを提供する。 本研究では,未提示ビデオから直接自律運転表現を学習するための,ラベルのない教師誘導型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-25T16:38:53Z)
• Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning [71.02843679746563]
  エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。 本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。 EgoVideoは,手の動き情報を微粒化するための,新しい軽量モーションアダプタを備えたモデルである。
  論文  参考訳（メタデータ） (2025-03-02T18:49:48Z)
• Computerized Assessment of Motor Imitation for Distinguishing Autism in Video (CAMI-2DNet) [23.87494536949725]
  運動模倣障害は自閉症スペクトラム(ASC)の患者で一般的に報告される 伝統的な運動模倣の評価方法は主観的で労働集約的であり、人間の訓練を必要とする。 CAMI-2DNetは、ビデオデータにおけるモータ模倣評価のための、スケーラブルで解釈可能なディープラーニングベースのアプローチである。
  論文  参考訳（メタデータ） (2025-01-15T06:15:15Z)
• EMMA: End-to-End Multimodal Model for Autonomous Driving [60.469594960313565]
  本稿では,自動走行のためのエンドツーエンドマルチモーダルモデルEMMAを紹介する。 Geminiのようなマルチモーダルな大規模言語モデル基盤に基づいて構築されたEMMAは、生のカメラセンサーデータを様々な駆動特有の出力に直接マッピングする。 EMMAとプランナートラジェクトリ、オブジェクト検出、および道路グラフタスクを併用することにより、3つの領域にまたがる改善が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-30T17:46:31Z)
• Learning Human Motion from Monocular Videos via Cross-Modal Manifold Alignment [45.74813582690906]
  2次元入力から人間の3D動作を学ぶことは、コンピュータビジョンとコンピュータグラフィックスの領域における基本的な課題である。 本稿では、モーダルなラテント特徴空間アライメントにより、動きの先行値を活用するビデオ・トゥ・モーション・ジェネレータ(VTM)を提案する。 VTMでは、モノクロビデオから3Dの人間の動きを再構築する、最先端のパフォーマンスが紹介されている。
  論文  参考訳（メタデータ） (2024-04-15T06:38:09Z)
• Improving Unsupervised Video Object Segmentation with Motion-Appearance Synergy [52.03068246508119]
  IMASは、トレーニングや推論において手動のアノテーションを使わずに、主要オブジェクトをビデオに分割する手法である。 IMASはMotion-Appearance Synergyによる改良されたUVOSを実現する。 人間のアノテーションや手作りハイパーパラム特有のメトリクスで調整された重要なハイパーパラムのチューニングにおいて、その効果を実証する。
  論文  参考訳（メタデータ） (2022-12-17T06:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。