論文の概要: Accessible Gesture-Driven Augmented Reality Interaction System
- arxiv url: http://arxiv.org/abs/2506.15189v1
- Date: Wed, 18 Jun 2025 07:10:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-19 19:35:51.566284
- Title: Accessible Gesture-Driven Augmented Reality Interaction System
- Title(参考訳): アクセシブルジェスチャー駆動拡張現実インタラクションシステム
- Authors: Yikan Wang,
- Abstract要約: Augmented Reality (AR) は没入型インタラクションを提供するが、運動障害や排他性に制限のあるユーザーにはアクセスできない。
本研究では,身振りの認識にディープラーニングを活用するAR環境のためのジェスチャーに基づくインタラクションシステムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Augmented reality (AR) offers immersive interaction but remains inaccessible for users with motor impairments or limited dexterity due to reliance on precise input methods. This study proposes a gesture-based interaction system for AR environments, leveraging deep learning to recognize hand and body gestures from wearable sensors and cameras, adapting interfaces to user capabilities. The system employs vision transformers (ViTs), temporal convolutional networks (TCNs), and graph attention networks (GATs) for gesture processing, with federated learning ensuring privacy-preserving model training across diverse users. Reinforcement learning optimizes interface elements like menu layouts and interaction modes. Experiments demonstrate a 20% improvement in task completion efficiency and a 25% increase in user satisfaction for motor-impaired users compared to baseline AR systems. This approach enhances AR accessibility and scalability. Keywords: Deep learning, Federated learning, Gesture recognition, Augmented reality, Accessibility, Human-computer interaction
- Abstract(参考訳): Augmented Reality (AR) は没入型インタラクションを提供するが、正確な入力方法に依存するため、運動障害のあるユーザや限られたデキスタリティを持つユーザにはアクセスできない。
本研究では,AR環境におけるジェスチャーに基づくインタラクションシステムを提案する。ディープラーニングを利用してウェアラブルセンサやカメラから手身ジェスチャーを認識し,インターフェースをユーザ機能に適応させる。
このシステムは視覚変換器(ViT)、時相畳み込みネットワーク(TCN)、ジェスチャー処理にグラフアテンションネットワーク(GAT)を採用し、多様なユーザを対象としたプライバシー保護モデルトレーニングを保証する。
強化学習は、メニューレイアウトやインタラクションモードなどのインターフェース要素を最適化する。
実験では、タスク完了効率が20%向上し、ベースラインARシステムと比較して、運動障害者のユーザ満足度が25%向上した。
このアプローチはARアクセシビリティとスケーラビリティを高める。
キーワード:ディープラーニング、フェデレーション学習、ジェスチャー認識、拡張現実、アクセシビリティ、人間とコンピュータのインタラクション
関連論文リスト
- Fatigue-Aware Adaptive Interfaces for Wearable Devices Using Deep Learning [0.0]
本研究では,ウェアラブルデバイスを対象とした疲労対応インタフェースシステムを提案する。
ディープラーニングを使って生理的データを分析し、インターフェース要素を調整して認知負荷を軽減する。
実験の結果,認知負荷は18%減少し,ユーザ満足度は22%改善した。
論文 参考訳(メタデータ) (2025-06-16T08:07:07Z) - DiG-Net: Enhancing Quality of Life through Hyper-Range Dynamic Gesture Recognition in Assistive Robotics [2.625826951636656]
ロボット工学に特化して設計された新しいアプローチを導入し,最大30mの距離で動的ジェスチャー認識を実現する。
提案手法では,DADAブロックと時空間グラフモジュールを効果的に組み合わせ,距離対応ゲスチャネットワーク(DiG-Net)を提案する。
かなりの距離からジェスチャーを効果的に解釈することにより、DiG-Netは在宅医療、産業安全、遠隔支援シナリオにおける補助ロボットのユーザビリティを著しく向上させる。
論文 参考訳(メタデータ) (2025-05-30T16:47:44Z) - Computer Vision-Driven Gesture Recognition: Toward Natural and Intuitive Human-Computer [21.70275919660522]
本研究では,コンピュータビジョンに基づく自然なジェスチャー認識の人間-コンピュータインタラクションへの応用について検討する。
手のひらと各指関節を接続することにより、手の動的かつ静的なジェスチャーモデルを形成する。
実験により,様々なジェスチャーを効果的に認識し,高い認識精度とリアルタイム応答能力を維持できることが示唆された。
論文 参考訳(メタデータ) (2024-12-24T10:13:20Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳(メタデータ) (2024-06-01T13:28:31Z) - Bootstrapping Adaptive Human-Machine Interfaces with Offline
Reinforcement Learning [82.91837418721182]
適応インターフェイスは、ユーザがシーケンシャルな意思決定タスクを実行するのに役立つ。
近年のヒューマン・イン・ザ・ループ・機械学習の進歩により、ユーザとの対話によってこのようなシステムが改善されている。
本稿では,生のコマンド信号をアクションにマッピングするインタフェースを訓練するための強化学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-07T16:52:27Z) - Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。
我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。
今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
論文 参考訳(メタデータ) (2022-10-03T20:51:25Z) - GesSure -- A Robust Face-Authentication enabled Dynamic Gesture
Recognition GUI Application [1.3649494534428745]
本稿では,頑健で顔認証が可能なジェスチャー認識システムを設計することを目的とする。
タスク操作に意味があり、関連するジェスチャーを使用します。
私たちのプロトタイプは、保存、印刷、ビデオプレイヤの操作と終了の制御、スリープ、シャットダウン、直感的にアンロックといった文脈に依存しないオペレーティングシステムタスクをうまく実行しました。
論文 参考訳(メタデータ) (2022-07-22T12:14:35Z) - ASHA: Assistive Teleoperation via Human-in-the-Loop Reinforcement
Learning [91.58711082348293]
オンラインユーザからのフィードバックからシステムのパフォーマンスに関する強化学習は、この問題に対する自然な解決策である。
このアプローチでは、特にフィードバックが不足している場合には、ループ内の大量のトレーニングデータが必要になる傾向があります。
疎いユーザフィードバックから効率的に学習する階層型ソリューションを提案する。
論文 参考訳(メタデータ) (2022-02-05T02:01:19Z) - Cognitive architecture aided by working-memory for self-supervised
multi-modal humans recognition [54.749127627191655]
人間パートナーを認識する能力は、パーソナライズされた長期的な人間とロボットの相互作用を構築するための重要な社会的スキルです。
ディープラーニングネットワークは最先端の結果を達成し,そのような課題に対処するための適切なツールであることが実証された。
1つの解決策は、ロボットに自己スーパービジョンで直接の感覚データから学習させることである。
論文 参考訳(メタデータ) (2021-03-16T13:50:24Z) - Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision
Action Recognition [131.6328804788164]
本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。
SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
論文 参考訳(メタデータ) (2020-09-01T03:38:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。