論文の概要: OmniAI: A Surface-Adaptive Aerial Projection Interface for Human--Drone Interaction
- arxiv url: http://arxiv.org/abs/2608.00721v1
- Date: Sat, 01 Aug 2026 15:41:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.877361
- Title: OmniAI: A Surface-Adaptive Aerial Projection Interface for Human--Drone Interaction
- Title（参考訳）: OmniAI: 表面適応型空中投射インタフェース
- Abstract要約: 本報告では,OmniAIについて述べる。OmniAIは,画面上と近傍の表面とのプロジェクションを切り替えることにより,表面適応相互作用を支援する空中エージェントである。
投影面はRGB-DセンシングとRANSAC平面フィッティングを用いてオンラインに検出される。
- 参考スコア（独自算出の注目度）: 2.6822193190929444
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Drones in human environments often lack spatially grounded in- terfaces for situated communication. We present OmniAI, an em- bodied aerial agent that supports surface-adaptive interaction by switching projection between an onboard screen and nearby en- vironmental surfaces. A servo-actuated MEMS laser projector renders text-and-image responses from a web-augmented LLM pipeline. Projection surfaces are detected online using RGB-D sensing and RANSAC plane fitting, without pre-mapped geometry. OmniAI provides functionally equivalent voice and gesture con- trol for both drone motion and projected content. By combining speech, mid-air gestures, adaptive projection, and aerial mobility, OmniAI demonstrates a mobile spatial AR interface for context- aware human-drone interaction.
- Abstract（参考訳）: 人間の環境でのドローンは、位置情報通信のための空間的に接地されていないことが多い。
本報告では,OmniAIについて述べる。OmniAIは,画面上と周囲の視覚面とのプロジェクションを切り替えることにより,表面適応的相互作用を支援するエム系エアエージェントである。
サーボ駆動MEMSレーザープロジェクタは、Web拡張LDMパイプラインからのテキストと画像の応答をレンダリングする。
投影面はRGB-DセンシングとRANSAC平面フィッティングを用いてオンラインに検出される。
OmniAIは、ドローンの動きと投影されたコンテンツの両方に、機能的に同等の音声とジェスチャーのコントロルを提供する。
OmniAIは、音声、空中ジェスチャー、適応プロジェクション、空中モビリティを組み合わせることで、コンテキストを意識した人間とドローンのインタラクションのための移動空間ARインターフェースを実証する。
関連論文リスト
- TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model [49.03909082056646]
人型ロボットを用いて, 乱雑な室内環境をナビゲートする問題について検討した。
本稿では,最初の全身視覚言語ナビゲーションフレームワークであるTANGOを紹介する。
シミュレーション実験では、タンゴは視覚言語ナビゲーションにおける最先端の性能を実証した。
論文 参考訳（メタデータ） (2026-09-08T17:59:55Z) - HybridSim: A Physics-Learning Hybrid Digital Twin for mmWave Human Sensing [16.25180983132509]
HybridSimは物理を学習するハイブリッドシミュレータで、室内の固定された構成の下で、動的人間のメッシュからミリ波レーダー信号を合成する。
サイト固有のデータ拡張にHybridSimを使用する場合、下流レーダに基づくヒューマンセンシングタスクにおいて、物理ベースの参照と一貫した利得との整合性の向上を示す。
論文 参考訳（メタデータ） (2026-07-17T10:20:31Z) - DroneFINE: Domain-Aware Parameter-Efficient Fine-Tuning of Vision-Language Detectors for Drone Images [50.96240625673857]
DroneFINEは、VLMベースのドローン画像検出器用に設計された2つのドメイン対応補完モジュールからなる、新しいPEFTパラダイムである。
DroneFINEは既存のPEFTメソッドを著しく上回り、完全な微調整に匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-01T02:27:40Z) - OmniUMI: Towards Physically Grounded Robot Learning via Human-Aligned Multimodal Interaction [41.5123936517904]
UMIスタイルのインタフェースはスケーラブルなロボット学習を可能にするが、既存のシステムはほとんどビジュモータのままである。
OmniUMIは,人間と協調したマルチモーダルインタラクションによる物理的基盤を持つロボット学習のための統合フレームワークである。
論文 参考訳（メタデータ） (2026-04-12T13:48:48Z) - Direct Contact-Tolerant Motion Planning With Vision Language Models [64.48049143625063]
乱雑な環境でのナビゲーションは、しばしばロボットが可動または変形可能な物体との接触を許容する必要がある。
本稿では,視覚言語モデル(VLM)を直接的視点認識とナビゲーションに統合したDCTプランナを提案する。
我々はIsaac Simと本物のカーライクなロボットにDCTを実装し、移動障害物のある散らばった環境において、DCTが堅牢で効率的なナビゲーションを実現することを実証した。
論文 参考訳（メタデータ） (2026-03-05T10:05:00Z) - MRPoS: Mixed Reality-Based Robot Navigation Interface Using Spatial Pointing and Speech with Large Language Model [1.552282932199974]
本稿では,空間的ポインティングと音声(MRPoS)を用いた複合現実感型ロボットナビゲーションインタフェースを提案する。
このフレームワークは,空間的ポインティングとLarge Language Model(LLM)に基づく音声インタラクションを組み合わせた,複雑な手ジェスチャーを自然なマルチモーダルインタフェースに置き換える。
両方の情報を活用することにより、MR技術によって可視化されたナビゲーション目標に言語意図を翻訳する。
論文 参考訳（メタデータ） (2026-03-04T08:45:25Z) - SARAH: Spatially Aware Real-time Agentic Humans [58.32612596034656]
ストリーミングVRヘッドセット上に展開可能な空間認識型対話動作のための,初のリアルタイム完全因果的手法を提案する。
ユーザの位置とダイアディックな音声を考慮に入れたアプローチでは,エージェントの向きをユーザに応じて調整しながら,ジェスチャーを音声と整列させる全体動作を生成する。
実写VRシステムに対する我々のアプローチを検証し,空間認識型対話エージェントをリアルタイム展開に適用する。
論文 参考訳（メタデータ） (2026-02-20T18:59:35Z) - DroneVLA: VLA based Aerial Manipulation [2.1645011609137295]
本研究は,高レベルの自然言語コマンドを解釈してオブジェクトを検索し,人間の手に届ける,自律航空操作システムという新しい概念を導入する。
このシステムは、Grounding DINOとVision-Language-Actionモデルに基づくMediaPipeと、1-DOFグリップとIntel RealSense RGB-Dカメラを備えたカスタムドローンを統合することを意図している。
実世界におけるローカライゼーションとナビゲーションの実証実験により,最大0.164m,0.070m,0.084m,平均ユークリッド,ルート平均2乗のシステムの有効性を実証した。
論文 参考訳（メタデータ） (2026-01-20T10:08:00Z) - HoverAI: An Embodied Aerial Agent for Natural Human-Drone Interaction [2.6822193190929444]
HoverAIは、ドローンモビリティ、インフラストラクチャ非依存の視覚投影、リアルタイムの会話AIを統合プラットフォームに統合する、実施済みの航空エージェントである。
HoverAIは、視覚と音声を通じてユーザを知覚し、ユーザ人口に適応するリップシンクアバターを介して応答する。
論文 参考訳（メタデータ） (2026-01-20T09:59:49Z) - HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。
我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。
この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
論文 参考訳（メタデータ） (2025-06-02T12:08:08Z) - GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。
GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。
運動と地面への距離変化との整合性を明確に促進するように訓練されている。
論文 参考訳（メタデータ） (2023-06-29T07:22:20Z) - iGibson, a Simulation Environment for Interactive Tasks in Large
Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。
私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。
iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文 参考訳（メタデータ） (2020-12-05T02:14:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。