論文の概要: Teachable Reality: Prototyping Tangible Augmented Reality with Everyday
Objects by Leveraging Interactive Machine Teaching
- arxiv url: http://arxiv.org/abs/2302.11046v1
- Date: Tue, 21 Feb 2023 23:03:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:52:30.435643
- Title: Teachable Reality: Prototyping Tangible Augmented Reality with Everyday
Objects by Leveraging Interactive Machine Teaching
- Title（参考訳）: teachable reality: 対話型機械教示の活用による現実的拡張現実のプロトタイピング
- Authors: Kyzyl Monteiro, Ritik Vatsal, Neil Chulpongsatorn, Aman Parnami, Ryo
Suzuki
- Abstract要約: Teachable Realityは、任意の日常オブジェクトでインタラクティブな有形ARアプリケーションを作成するための拡張現実(AR)プロトタイプツールである。
オンデマンドコンピュータビジョンモデルを用いて、ユーザ定義の有形および外見的相互作用を識別する。
当社のアプローチは,ARプロトタイプ作成の障壁を低くすると同時に,フレキシブルで汎用的なプロトタイピング体験を可能にする。
- 参考スコア（独自算出の注目度）: 4.019017835137353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Teachable Reality, an augmented reality (AR)
prototyping tool for creating interactive tangible AR applications with
arbitrary everyday objects. Teachable Reality leverages vision-based
interactive machine teaching (e.g., Teachable Machine), which captures
real-world interactions for AR prototyping. It identifies the user-defined
tangible and gestural interactions using an on-demand computer vision model.
Based on this, the user can easily create functional AR prototypes without
programming, enabled by a trigger-action authoring interface. Therefore, our
approach allows the flexibility, customizability, and generalizability of
tangible AR applications that can address the limitation of current
marker-based approaches. We explore the design space and demonstrate various AR
prototypes, which include tangible and deformable interfaces, context-aware
assistants, and body-driven AR applications. The results of our user study and
expert interviews confirm that our approach can lower the barrier to creating
functional AR prototypes while also allowing flexible and general-purpose
prototyping experiences.
- Abstract（参考訳）: 本稿では,任意の日常オブジェクトを用いたインタラクティブな有形arアプリケーションを作成するための拡張現実(ar)プロトタイピングツールであるteachable realityについて紹介する。
Teachable Realityは、ARプロトタイピングのための現実世界のインタラクションをキャプチャする視覚ベースの対話型機械学習(Teachable Machineなど)を活用する。
オンデマンドコンピュータビジョンモデルを用いて、ユーザ定義の有形および外見的相互作用を識別する。
これに基づいてユーザは,トリガアクションオーサリングインターフェースによって実現された,関数型ARプロトタイプを簡単に作成することができる。
そこで本手法は,現在のマーカーベースアプローチの限界に対処できる有形ARアプリケーションの柔軟性,カスタマイズ性,一般化性を実現する。
デザイン空間を探索し、具体的で変形可能なインターフェース、コンテキスト認識アシスタント、ボディ駆動型ARアプリケーションなど、さまざまなARプロトタイプを実演する。
ユーザ調査とエキスパートインタビューの結果から,我々のアプローチは,柔軟性と汎用的なプロトタイピング体験を可能にすると同時に,機能的なarプロトタイプ作成の障壁を低くすることができることがわかった。
関連論文リスト
- Survey of User Interface Design and Interaction Techniques in Generative AI Applications [79.55963742878684]
我々は,デザイナやディベロッパの参照として使用できる,さまざまなユーザインタラクションパターンのコンペレーションを作ることを目指している。
また、生成AIアプリケーションの設計についてもっと学ぼうとする人たちの参入障壁を低くしようと努力しています。
論文 参考訳（メタデータ） (2024-10-28T23:10:06Z) - ARPOV: Expanding Visualization of Object Detection in AR with Panoramic Mosaic Stitching [0.0]
ARPOVは、ARヘッドセットによってキャプチャされたビデオに合わせたオブジェクト検出モデル出力を分析するための、インタラクティブなビジュアル分析ツールである。
提案ツールでは, 望ましくないフレームを自動的にフィルタリングしながら, パノラマ縫合を利用して環境の視界を拡大する。
論文 参考訳（メタデータ） (2024-10-01T20:29:14Z) - Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
我々はPolarisという対話型ロボット操作フレームワークを紹介した。
ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。
本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
論文 参考訳（メタデータ） (2024-08-15T06:40:38Z) - LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。
このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。
本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
論文 参考訳（メタデータ） (2024-04-03T23:57:34Z) - Voila-A: Aligning Vision-Language Models with User's Gaze Attention [56.755993500556734]
視覚言語モデル(VLM)を導くために,人間の注意の代用として視線情報を導入する。
本稿では,視線アライメントのための新しいアプローチであるVoila-Aを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:34:01Z) - Typing on Any Surface: A Deep Learning-based Method for Real-Time
Keystroke Detection in Augmented Reality [4.857109990499532]
空中キーボードインターフェース、ワイヤレスキーボード、または音声入力は、エルゴノミクス設計が貧弱で、精度が限られているか、単に公の場で使うのが恥ずかしい。
本稿では、ユーザ視点のRGBビデオストリームから、ARアプリケーションがキーストロークを正確に予測できるディープラーニングベースのアプローチを提案し、検証する。
既製ハンドランドマーク抽出器と,適応型畳み込みリカレントニューラルネットワーク(C-RNN)を併用した2段階モデルを開発した。
論文 参考訳（メタデータ） (2023-08-31T23:58:25Z) - Systematic Adaptation of Communication-focused Machine Learning Models
from Real to Virtual Environments for Human-Robot Collaboration [1.392250707100996]
本稿では,仮想データセットのサイズを限定した,リアルから仮想への適応のための体系的フレームワークを提案する。
実世界の多くの研究とその後の商業化のトピックである手振り認識は、大きなラベル付きデータセットの作成によって可能になった。
論文 参考訳（メタデータ） (2023-07-21T03:24:55Z) - ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。
私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。
我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-05-01T17:57:01Z) - Learning Action-Effect Dynamics for Hypothetical Vision-Language
Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。
本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文 参考訳（メタデータ） (2022-12-07T05:41:58Z) - OpenDR: An Open Toolkit for Enabling High Performance, Low Footprint
Deep Learning for Robotics [0.0]
ロボットのためのオープンディープラーニングツールキット(OpenDR)について紹介する。
OpenDRは、ロボット企業や研究機関が容易に利用できるオープンで、非プロプライエタリで、効率的で、モジュール化されたツールキットの開発を目指している。
論文 参考訳（メタデータ） (2022-03-01T12:59:59Z) - Modular approach to data preprocessing in ALOHA and application to a
smart industry use case [0.0]
データ前処理と変換パイプラインをサポートするために、ALOHAツールフローに統合されたモジュラーアプローチに対処する。
提案手法の有効性を示すために,キーワードスポッティングのユースケースに関する実験結果を示す。
論文 参考訳（メタデータ） (2021-02-02T06:48:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。