論文の概要: DipMe: Haptic Recognition of Granular Media for Tangible Interactive Applications
- arxiv url: http://arxiv.org/abs/2411.08641v1
- Date: Wed, 13 Nov 2024 14:32:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:10:37.154188
- Title: DipMe: Haptic Recognition of Granular Media for Tangible Interactive Applications
- Title（参考訳）: DipMe: タンジブルインタラクティブアプリケーションのためのグラニュラーメディアの触覚認識
- Authors: Xinkai Wang, Shuo Zhang, Ziyi Zhao, Lifeng Zhu, Aiguo Song,
- Abstract要約: 粒状メディアのタイプをリアルタイムで認識するスマートデバイスとしてDipMeを導入する。
視覚に基づく解法以外では,装置のディップ操作を提案し,触覚信号を利用して様々な種類の粒状物質を識別する。
- 参考スコア（独自算出の注目度）: 14.171660281919692
- License:
- Abstract: While tangible user interface has shown its power in naturally interacting with rigid or soft objects, users cannot conveniently use different types of granular materials as the interaction media. We introduce DipMe as a smart device to recognize the types of granular media in real time, which can be used to connect the granular materials in the physical world with various virtual content. Other than vision-based solutions, we propose a dip operation of our device and exploit the haptic signals to recognize different types of granular materials. With modern machine learning tools, we find the haptic signals from different granular media are distinguishable by DipMe. With the online granular object recognition, we build several tangible interactive applications, demonstrating the effects of DipMe in perceiving granular materials and its potential in developing a tangible user interface with granular objects as the new media.
- Abstract（参考訳）: 有形ユーザインタフェースは、硬質や軟質のオブジェクトと自然に対話する能力を示しているが、ユーザーはインタラクションメディアとして様々な種類の粒状材料を便利に利用することはできない。
我々はDipMeを,物理世界の粒状物質と様々な仮想コンテンツとをリアルタイムに接続することのできる,粒状メディアのタイプを認識するスマートデバイスとして紹介する。
視覚に基づく解法以外では,装置のディップ操作を提案し,触覚信号を利用して様々な種類の粒状物質を識別する。
現代の機械学習ツールでは、異なる粒度メディアからの触覚信号がDipMeによって識別可能であることが分かる。
オンラインの粒状オブジェクト認識では,DipMeの粒状材料知覚における効果と,粒状オブジェクトを新たなメディアとする有形ユーザインタフェースの開発の可能性を示す,いくつかの有形対話型アプリケーションを構築している。
関連論文リスト
- Self-supervised Spatio-Temporal Graph Mask-Passing Attention Network for Perceptual Importance Prediction of Multi-point Tactility [8.077951761948556]
我々は,自己教師付き学習と時空間グラフニューラルネットワークに基づいて,触覚の重要度を複数の点で予測するモデルを開発した。
その結果,多点触覚認知のシナリオにおいて,様々な点の知覚的重要性を効果的に予測できることが示唆された。
論文 参考訳（メタデータ） (2024-10-04T13:45:50Z) - Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。
我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。
トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文 参考訳（メタデータ） (2024-04-16T16:04:38Z) - Tactile-based Object Retrieval From Granular Media [17.340244278653785]
本稿では,粒状体に埋もれた物体を回収するロボット操作手法であるGEOTACTを紹介する。
我々は,この問題の定式化が,マニピュレータが不確実性を低減するために使用する学習的プッシュ動作の自然発生に繋がることを示す。
また、シミュレーションでこれらの動作を学習し、その後、実際のハードウェアにゼロショットで転送する訓練カリキュラムも導入する。
論文 参考訳（メタデータ） (2024-02-07T02:50:56Z) - Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳（メタデータ） (2024-01-07T19:11:18Z) - Object Recognition System on a Tactile Device for Visually Impaired [1.2891210250935146]
このデバイスは、視覚情報を聴覚フィードバックに変換し、ユーザが自分の環境を、感覚的なニーズに合った形で理解できるようにする。
装置が特定の位置にタッチされると、シーンに存在する物体の識別を視覚障害者に伝える音声信号を提供する。
論文 参考訳（メタデータ） (2023-07-05T11:37:17Z) - Controllable Visual-Tactile Synthesis [28.03469909285511]
一つのスケッチから視覚と触覚の両方の出力を合成する条件生成モデルを開発した。
次に,電気接着型触覚デバイスに高品質な視覚・触覚出力を描画するパイプラインを導入する。
論文 参考訳（メタデータ） (2023-05-04T17:59:51Z) - Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。
我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。
本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
論文 参考訳（メタデータ） (2022-04-18T17:58:04Z) - Audio-Visual Fusion Layers for Event Type Aware Video Recognition [86.22811405685681]
マルチタスク学習方式において,個別のイベント固有のレイヤによるマルチセンサ統合問題に対処する新しいモデルを提案する。
我々のネットワークは単一のラベルで表現されているが、与えられたビデオを表現するために、さらに真のマルチラベルを出力できる。
論文 参考訳（メタデータ） (2022-02-12T02:56:22Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。
物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
論文 参考訳（メタデータ） (2021-01-12T12:55:53Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。