論文の概要: Multimodal Feedback for Handheld Tool Guidance: Combining Wrist-Based Haptics with Augmented Reality

• arxiv url: http://arxiv.org/abs/2601.12037v1
• Date: Sat, 17 Jan 2026 12:49:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.43225
• Title: Multimodal Feedback for Handheld Tool Guidance: Combining Wrist-Based Haptics with Augmented Reality
• Title（参考訳）: ハンドヘルドツール誘導のためのマルチモーダルフィードバック:リストベースの触覚と拡張現実を組み合わせる
• Authors: Yue Yang, Christoph Leuze, Brian Hargreaves, Bruce Daniel, Fred M Baik,
• Abstract要約: 光シースルー拡張現実(AR)における視覚的手首フィードバックがハンドヘルドツール運動の空間的誘導をいかに向上させるかを検討する。 以上の結果から,手首をベースとした触覚をARシステムに統合し,手術指導などの視覚的タスクを高精度で複雑化する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 6.984082653739313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate how vibrotactile wrist feedback can enhance spatial guidance for handheld tool movement in optical see-through augmented reality (AR). While AR overlays are widely used to support surgical tasks, visual occlusion, lighting conditions, and interface ambiguity can compromise precision and confidence. To address these challenges, we designed a multimodal system combining AR visuals with a custom wrist-worn haptic device delivering directional and state-based cues. A formative study with experienced surgeons and residents identified key tool maneuvers and preferences for reference mappings, guiding our cue design. In a cue identification experiment (N=21), participants accurately recognized five vibration patterns under visual load, with higher recognition for full-actuator states than spatial direction cues. In a guidance task (N=27), participants using both AR and haptics achieved significantly higher spatial precision (5.8 mm) and usability (SUS = 88.1) than those using either modality alone, despite having modest increases in task time. Participants reported that haptic cues provided reassuring confirmation and reduced cognitive effort during alignment. Our results highlight the promise of integrating wrist-based haptics into AR systems for high-precision, visually complex tasks such as surgical guidance. We discuss design implications for multimodal interfaces supporting confident, efficient tool manipulation.
• Abstract（参考訳）: 我々は,視覚的手首フィードバックが,視線スルー拡張現実(AR)におけるハンドヘルドツール運動の空間的誘導をいかに向上させるかを検討する。 ARオーバーレイは外科的タスク、視覚的閉塞、照明条件、インターフェースのあいまいさをサポートするために広く使用されているが、精度と信頼性を損なう可能性がある。 これらの課題に対処するため、我々は、AR視覚と、方向と状態に基づく手がかりを提供するカスタム手首の触覚デバイスを組み合わせたマルチモーダルシステムを設計した。 経験豊富な外科医や住民によるフォーマティブな研究で、主要なツールの操作と参照マッピングの好みを特定し、キューの設計を指導しました。 キュー識別実験(N=21)では、被験者は視覚負荷下での5つの振動パターンを正確に認識し、全アクチュエータ状態の認識は空間方向の手がかりよりも高い。 誘導課題(N=27)では,ARと触覚の両方を用いた被験者は,作業時間の緩やかな増加にもかかわらず,空間的精度(5.8mm)と使いやすさ(SUS = 88.1)を両用した被験者よりも有意に向上した。 参加者は、ハプティック・キューは、アライメント中の確認と認知活動の軽減を提供すると報告した。 以上の結果から,手首をベースとした触覚をARシステムに統合し,手術指導などの視覚的タスクを高精度で複雑化する可能性が示唆された。 信頼性と効率的なツール操作を支援するマルチモーダルインタフェースの設計について論じる。

関連論文リスト

• MOTION: ML-Assisted On-Device Low-Latency Motion Recognition [5.0385144315892925]
  WeBe Bandは、強力なMCUを備えたマルチセンサーウェアラブルデバイスで、ジェスチャ認識を完全にデバイス上で効果的に行う。 ニューラルネットワークは、正確性、レイテンシ、メモリ使用の最良のバランスを提供します。 以上の結果から,WeBe Bandではリアルタイムなジェスチャー認識が可能であり,リアルタイムな医療モニタリングソリューションの可能性も大きいことが示唆された。
  論文  参考訳（メタデータ） (2025-10-14T01:15:47Z)
• Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
  AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。 我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。 また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
  論文  参考訳（メタデータ） (2025-10-01T17:58:05Z)
• AR Surgical Navigation with Surface Tracing: Comparing In-Situ Visualization with Tool-Tracking Guidance for Neurosurgical Applications [0.0]
  本研究では,AR誘導を利用して解剖学的目標を登録し,リアルタイムな計器ナビゲーションを行う新しい手法を提案する。 新規な表面追跡法により標的位置を患者に登録し、リアルタイム赤外線ツールトラッキングを用いてカテーテル配置を支援する。
  論文  参考訳（メタデータ） (2025-08-14T11:46:30Z)
• Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper [7.618517580705364]
  触覚センサーを内蔵した携帯型軽量グリップについて述べる。 視覚信号と触覚信号を統合するクロスモーダル表現学習フレームワークを提案する。 試験管挿入や管状流体移動などの細粒度タスクに対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-20T17:53:59Z)
• Setup-Invariant Augmented Reality for Teaching by Demonstration with Surgical Robots [49.26692555627371]
  本稿では,dV-STEARというオープンソースのシステムについて紹介する。 dV-STEARは腹腔鏡下手術の基本課題の初級成績を有意に改善した。 両課題とも,dV-STEARを用いた被験者では,手指使用のバランスが有意に改善し,フラストレーションの低下が報告された。
  論文  参考訳（メタデータ） (2025-04-09T08:34:25Z)
• Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features [50.82725748981231]
  エンゲージメント測定は、医療、教育、サービスに応用される。 生理的特徴と行動的特徴の使用は可能であるが、従来の生理的測定の非現実性は接触センサーの必要性により生じる。 コンタクトセンサの代替として, 教師なし光胸腺造影(胸腔鏡)の有用性を実証する。
  論文  参考訳（メタデータ） (2024-04-05T20:39:16Z)
• Combining Vision and EMG-Based Hand Tracking for Extended Reality Musical Instruments [0.0]
  自己閉塞は、視覚に基づく手の動き追跡システムにとって重要な課題である。 本研究では,指関節角度推定のための視覚ベースハンドトラッキングと表面筋電図(SEMG)データを組み合わせたマルチモーダルハンドトラッキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-07-13T15:15:02Z)
• Learning Perceptual Locomotion on Uneven Terrains using Sparse Visual Observations [75.60524561611008]
  この研究は、人中心の環境において、よく見られるバンプ、ランプ、階段の広い範囲にわたる知覚的移動を達成するために、スパースな視覚的観察の使用を活用することを目的としている。 まず、関心の均一な面を表すことのできる最小限の視覚入力を定式化し、このような外受容的・固有受容的データを統合した学習フレームワークを提案する。 本研究では, 平地を全方向歩行し, 障害物のある地形を前方移動させるタスクにおいて, 学習方針を検証し, 高い成功率を示す。
  論文  参考訳（メタデータ） (2021-09-28T20:25:10Z)
• AEGIS: A real-time multimodal augmented reality computer vision based system to assist facial expression recognition for individuals with autism spectrum disorder [93.0013343535411]
  本稿では,コンピュータビジョンと深部畳み込みニューラルネットワーク(CNN)を組み合わせたマルチモーダル拡張現実(AR)システムの開発について述べる。 提案システムはAIGISと呼ばれ,タブレット,スマートフォン,ビデオ会議システム,スマートグラスなど,さまざまなユーザデバイスにデプロイ可能な支援技術である。 我々は空間情報と時間情報の両方を活用して正確な表現予測を行い、それを対応する可視化に変換し、元のビデオフレーム上に描画する。
  論文  参考訳（メタデータ） (2020-10-22T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。