論文の概要: EVFormer: An Egocentric Vision-EMG Bidirectional Attention Model for Bimanual Hand Pose Estimation
- arxiv url: http://arxiv.org/abs/2610.06970v1
- Date: Sat, 03 Oct 2026 19:03:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.483631
- Title: EVFormer: An Egocentric Vision-EMG Bidirectional Attention Model for Bimanual Hand Pose Estimation
- Title（参考訳）: Egocentric Vision-EMG bidirectional Attention Model for bimanual Hand Pose Estimation EVFormer
- Abstract要約: 両手ポーズ推定は,仮想インタラクション,ウェアラブル制御,リハビリテーションにおいて重要である。
我々は,現在のRGBフレームと,それ以前の200ミリ秒の両側手首表面筋電図(sEMG)を組み合わせて,44本の指と手首の関節角度を推定するEVFormerを提案する。
EVFormerの絶対誤差は平均11.482度であり、視覚のみの13.228-13.610度、sEMGのみの遅延融合、トレーニング平均ベースラインである。
- 参考スコア（独自算出の注目度）: 7.5865368973287355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric bimanual hand pose estimation is important for virtual interaction, wearable control, and rehabilitation, but visual observations are often degraded by self-occlusion, hand-hand contact, and object manipulation. We propose EVFormer, a multimodal framework that combines the current RGB frame with the preceding 200 ms of bilateral wrist surface electromyography (sEMG) to estimate 44 finger and wrist joint angles. EVFormer separately encodes visual spatial features and sEMG temporal features, enables cross-modal information exchange through sequential bidirectional cross-attention, and integrates the two modalities using feature-wise gated fusion. We evaluate EVFormer in a single-participant feasibility study using one synchronized public EgoEMG recording with chronologically separated training, validation, and test splits. On 296 test samples, EVFormer achieves a mean absolute error of 11.482 degrees, compared with 13.228-13.610 degrees for vision-only, sEMG-only, late-fusion, and training-mean baselines. This corresponds to relative error reductions of 13.20% compared with the vision-only model and 14.23% compared with late fusion. EVFormer also achieves the lowest error in four of the five evaluated gesture classes. These results provide preliminary evidence that feature-level interaction between egocentric vision and sEMG can improve bimanual hand pose estimation. Further evaluation across participants, recording sessions, sensor placements, and real-world interaction conditions is required to establish the generalizability of the approach.
- Abstract（参考訳）: エゴセントリックな双手ポーズ推定は、仮想相互作用、ウェアラブル制御、リハビリテーションにおいて重要であるが、視覚的観察はしばしば自己閉塞、ハンドコンタクト、オブジェクト操作によって劣化する。
本稿では,現在のRGBフレームと,それ以前の200ミリ秒の両側手首表面筋電図(sEMG)を組み合わせて,44本の指と手首関節角度を推定する多モードフレームワークEVFormerを提案する。
EVFormerは視覚的空間的特徴とsEMG時間的特徴を別々にエンコードし、逐次的双方向の相互アテンションによる相互情報交換を可能にし、特徴量ゲート融合を用いて2つのモダリティを統合する。
本研究は,日時別トレーニング,検証,テストスプリットを併用した1つの公開EgoEMG記録を用いて,単人数でEVFormerを評価することを目的とした。
296のテストサンプルでは、EVFormerの平均絶対誤差は11.482°であり、視力のみの13.228-13.610°、sEMGのみの遅延核融合、訓練平均基底線は13.228-13.610°である。
これは、視覚のみのモデルに比べて相対誤差が13.20%減少し、後期融合に比べて14.23%減少する。
EVFormerはまた、評価された5つのジェスチャクラスのうち4つの最も低いエラーを達成する。
これらの結果は、自我中心視とsEMG間の特徴レベル相互作用が両手ポーズ推定を改善することの予備的証拠となる。
参加者間のさらなる評価、録音セッション、センサー配置、実世界の相互作用条件は、このアプローチの一般化可能性を確立するために必要である。
関連論文リスト
- Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS [11.540745916991474]
我々は、同期EEG-fNIRSデータセット上で、より厳密なゼロショット・クロスオブジェクト変種について検討する。
我々は、同じ刺激を見ている被験者間で共有される構造に、影響の軌跡を分解する。
保持対象について、モデルは2つの評価バッチで25.96 / 22.80のMAEに達する。
論文 参考訳（メタデータ） (2026-10-02T04:37:59Z) - LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models [61.038310084204056]
本稿では,ロボット基礎モデルの閉ループ視覚的堅牢性を評価するためのベンチマークであるLIBERO-VProを紹介する。
約196,000回にわたって3つの視覚言語行動モデルと3つの世界行動モデルを評価した。
以上の結果から,強い名目性能は視覚的接地や適応において重大な弱点を隠蔽する可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-21T09:43:41Z) - Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks [0.0]
脳波(EEG)による視覚刺激の再構成は、頭皮計測が時間分解能が高いが空間分解能が限られているため困難である。
THINGS-EEG2上の再現可能な単一オブジェクトベースラインについて,脳波が視覚的埋め込み空間において観察された刺激を回復できるかどうかという,より明確な疑問を最初に検証する。
論文 参考訳（メタデータ） (2026-09-13T03:26:21Z) - What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment [16.54359569394021]
脳の反応を視覚的セマンティックな埋め込みと整合させるための統合型多視点脳波表現学習フレームワークを提案する。
提案手法は,物体内部設定において54.8%のTop-1,85.6%のTop-5,クロスオブジェクト設定では15.3%のTop-1,45.4%のTop-5の精度を有する。
論文 参考訳（メタデータ） (2026-06-24T11:33:21Z) - AVI-HT: Adaptive Vision-IMU Fusion for 3D Hand Tracking [7.3378748076111036]
6-DoF IMU信号を用いたエゴセントリック画像の同時モデリングにより,3次元手振り追跡のための適応型視覚-IMU融合手法を提案する。
Avi-HTは、特に手動の相互作用シナリオにおいて、精度と可用性を著しく向上させる。
我々はDexGloveHOIデータセット上で、100K以上のペアワイドビジョン-IMUサンプルと同期した3Dアノテートポーズからなる広範囲な実験を行った。
論文 参考訳（メタデータ） (2026-05-20T20:19:24Z) - AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。
このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。
複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
論文 参考訳（メタデータ） (2026-05-20T03:06:36Z) - EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation [21.77386351667022]
EgoEMGは、両手ポーズ推定のためのマルチモーダルなエゴセントリックデータセットである。
データセットは、30の片手ジェスチャーと30のバイマニュアルジェスチャーを含む60のジェスチャークラスを実行する41の参加者を対象としている。
EgoEMGとそのベンチマークは、EMGとビジョンを用いたマルチモーダルハンドポーズ推定に関する将来の研究の基礎を確立している。
論文 参考訳（メタデータ） (2026-05-07T05:56:57Z) - Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。
GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。
最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
論文 参考訳（メタデータ） (2025-02-23T04:21:32Z) - Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features [50.82725748981231]
エンゲージメント測定は、医療、教育、サービスに応用される。
生理的特徴と行動的特徴の使用は可能であるが、従来の生理的測定の非現実性は接触センサーの必要性により生じる。
コンタクトセンサの代替として, 教師なし光胸腺造影(胸腔鏡)の有用性を実証する。
論文 参考訳（メタデータ） (2024-04-05T20:39:16Z) - Improving Visual Grounding by Encouraging Consistent Gradient-based
Explanations [58.442103936918805]
注意マスク整合性は,従来の方法よりも優れた視覚的グラウンドリング結果が得られることを示す。
AMCは効率的で実装が容易であり、どんな視覚言語モデルでも採用できるため一般的である。
論文 参考訳（メタデータ） (2022-06-30T17:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。