論文の概要: Teachable Reality: Prototyping Tangible Augmented Reality with Everyday
Objects by Leveraging Interactive Machine Teaching
- arxiv url: http://arxiv.org/abs/2302.11046v1
- Date: Tue, 21 Feb 2023 23:03:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:52:30.435643
- Title: Teachable Reality: Prototyping Tangible Augmented Reality with Everyday
Objects by Leveraging Interactive Machine Teaching
- Title(参考訳): teachable reality: 対話型機械教示の活用による現実的拡張現実のプロトタイピング
- Authors: Kyzyl Monteiro, Ritik Vatsal, Neil Chulpongsatorn, Aman Parnami, Ryo
Suzuki
- Abstract要約: Teachable Realityは、任意の日常オブジェクトでインタラクティブな有形ARアプリケーションを作成するための拡張現実(AR)プロトタイプツールである。
オンデマンドコンピュータビジョンモデルを用いて、ユーザ定義の有形および外見的相互作用を識別する。
当社のアプローチは,ARプロトタイプ作成の障壁を低くすると同時に,フレキシブルで汎用的なプロトタイピング体験を可能にする。
- 参考スコア(独自算出の注目度): 4.019017835137353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Teachable Reality, an augmented reality (AR)
prototyping tool for creating interactive tangible AR applications with
arbitrary everyday objects. Teachable Reality leverages vision-based
interactive machine teaching (e.g., Teachable Machine), which captures
real-world interactions for AR prototyping. It identifies the user-defined
tangible and gestural interactions using an on-demand computer vision model.
Based on this, the user can easily create functional AR prototypes without
programming, enabled by a trigger-action authoring interface. Therefore, our
approach allows the flexibility, customizability, and generalizability of
tangible AR applications that can address the limitation of current
marker-based approaches. We explore the design space and demonstrate various AR
prototypes, which include tangible and deformable interfaces, context-aware
assistants, and body-driven AR applications. The results of our user study and
expert interviews confirm that our approach can lower the barrier to creating
functional AR prototypes while also allowing flexible and general-purpose
prototyping experiences.
- Abstract(参考訳): 本稿では,任意の日常オブジェクトを用いたインタラクティブな有形arアプリケーションを作成するための拡張現実(ar)プロトタイピングツールであるteachable realityについて紹介する。
Teachable Realityは、ARプロトタイピングのための現実世界のインタラクションをキャプチャする視覚ベースの対話型機械学習(Teachable Machineなど)を活用する。
オンデマンドコンピュータビジョンモデルを用いて、ユーザ定義の有形および外見的相互作用を識別する。
これに基づいてユーザは,トリガアクションオーサリングインターフェースによって実現された,関数型ARプロトタイプを簡単に作成することができる。
そこで本手法は,現在のマーカーベースアプローチの限界に対処できる有形ARアプリケーションの柔軟性,カスタマイズ性,一般化性を実現する。
デザイン空間を探索し、具体的で変形可能なインターフェース、コンテキスト認識アシスタント、ボディ駆動型ARアプリケーションなど、さまざまなARプロトタイプを実演する。
ユーザ調査とエキスパートインタビューの結果から,我々のアプローチは,柔軟性と汎用的なプロトタイピング体験を可能にすると同時に,機能的なarプロトタイプ作成の障壁を低くすることができることがわかった。
関連論文リスト
- DrawTalking: Building Interactive Worlds by Sketching and Speaking [20.836365837419873]
我々はDrawTalkingを紹介した。DrawTalkingは、ユーザがスケッチや講演によってインタラクティブな世界を構築することを可能にするための、プロトタイプシステムである。
このアプローチはユーザコントロールと柔軟性を強調し、コードを必要としないプログラミングのような機能を提供する。
論文 参考訳(メタデータ) (2024-01-11T03:02:17Z) - Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。
本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
論文 参考訳(メタデータ) (2023-12-22T17:34:01Z) - Learning Reusable Manipulation Strategies [86.07442931141634]
人間は「トリック」を習得し、一般化する素晴らしい能力を実証する
本稿では,機械が1つの実演と自己演奏によってこのような操作スキルを習得することを可能にするフレームワークを提案する。
これらの学習メカニズムとサンプルは、標準的なタスクやモーションプランナにシームレスに統合できる。
論文 参考訳(メタデータ) (2023-11-06T17:35:42Z) - Typing on Any Surface: A Deep Learning-based Method for Real-Time
Keystroke Detection in Augmented Reality [4.857109990499532]
空中キーボードインターフェース、ワイヤレスキーボード、または音声入力は、エルゴノミクス設計が貧弱で、精度が限られているか、単に公の場で使うのが恥ずかしい。
本稿では、ユーザ視点のRGBビデオストリームから、ARアプリケーションがキーストロークを正確に予測できるディープラーニングベースのアプローチを提案し、検証する。
既製ハンドランドマーク抽出器と,適応型畳み込みリカレントニューラルネットワーク(C-RNN)を併用した2段階モデルを開発した。
論文 参考訳(メタデータ) (2023-08-31T23:58:25Z) - Systematic Adaptation of Communication-focused Machine Learning Models
from Real to Virtual Environments for Human-Robot Collaboration [1.392250707100996]
本稿では,仮想データセットのサイズを限定した,リアルから仮想への適応のための体系的フレームワークを提案する。
実世界の多くの研究とその後の商業化のトピックである手振り認識は、大きなラベル付きデータセットの作成によって可能になった。
論文 参考訳(メタデータ) (2023-07-21T03:24:55Z) - Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
我々は,ロボット探索を導くための視覚能力の学習手法を開発した。
VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。
本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2023-05-28T17:53:09Z) - ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。
私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。
我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
論文 参考訳(メタデータ) (2023-05-01T17:57:01Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳(メタデータ) (2022-12-07T05:41:58Z) - MONAI Label: A framework for AI-assisted Interactive Labeling of 3D
Medical Images [49.664220687980006]
注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。
本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
論文 参考訳(メタデータ) (2022-03-23T12:33:11Z) - OpenDR: An Open Toolkit for Enabling High Performance, Low Footprint
Deep Learning for Robotics [0.0]
ロボットのためのオープンディープラーニングツールキット(OpenDR)について紹介する。
OpenDRは、ロボット企業や研究機関が容易に利用できるオープンで、非プロプライエタリで、効率的で、モジュール化されたツールキットの開発を目指している。
論文 参考訳(メタデータ) (2022-03-01T12:59:59Z) - Modular approach to data preprocessing in ALOHA and application to a
smart industry use case [0.0]
データ前処理と変換パイプラインをサポートするために、ALOHAツールフローに統合されたモジュラーアプローチに対処する。
提案手法の有効性を示すために,キーワードスポッティングのユースケースに関する実験結果を示す。
論文 参考訳(メタデータ) (2021-02-02T06:48:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。