論文の概要: Systematic Adaptation of Communication-focused Machine Learning Models
from Real to Virtual Environments for Human-Robot Collaboration
- arxiv url: http://arxiv.org/abs/2307.11327v1
- Date: Fri, 21 Jul 2023 03:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:52:17.261043
- Title: Systematic Adaptation of Communication-focused Machine Learning Models
from Real to Virtual Environments for Human-Robot Collaboration
- Title（参考訳）: ロボット協調のための実環境から仮想環境へのコミュニケーション型機械学習モデルの体系的適応
- Authors: Debasmita Mukherjee, Ritwik Singhai and Homayoun Najjaran
- Abstract要約: 本稿では,仮想データセットのサイズを限定した,リアルから仮想への適応のための体系的フレームワークを提案する。
実世界の多くの研究とその後の商業化のトピックである手振り認識は、大きなラベル付きデータセットの作成によって可能になった。
- 参考スコア（独自算出の注目度）: 1.392250707100996
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Virtual reality has proved to be useful in applications in several fields
ranging from gaming, medicine, and training to development of interfaces that
enable human-robot collaboration. It empowers designers to explore applications
outside of the constraints posed by the real world environment and develop
innovative solutions and experiences. Hand gestures recognition which has been
a topic of much research and subsequent commercialization in the real world has
been possible because of the creation of large, labelled datasets. In order to
utilize the power of natural and intuitive hand gestures in the virtual domain
for enabling embodied teleoperation of collaborative robots, similarly large
datasets must be created so as to keep the working interface easy to learn and
flexible enough to add more gestures. Depending on the application, this may be
computationally or economically prohibitive. Thus, the adaptation of trained
deep learning models that perform well in the real environment to the virtual
may be a solution to this challenge. This paper presents a systematic framework
for the real to virtual adaptation using limited size of virtual dataset along
with guidelines for creating a curated dataset. Finally, while hand gestures
have been considered as the communication mode, the guidelines and
recommendations presented are generic. These are applicable to other modes such
as body poses and facial expressions which have large datasets available in the
real domain which must be adapted to the virtual one.
- Abstract（参考訳）: 仮想現実は、ゲーム、医療、トレーニングから、人間とロボットのコラボレーションを可能にするインターフェイスの開発まで、いくつかの分野のアプリケーションで有用であることが証明されている。
デザイナーは現実世界の環境が課す制約の外のアプリケーションを探索し、革新的なソリューションやエクスペリエンスを開発することができる。
実世界の多くの研究とその後の商業化のトピックである手振り認識は、大きなラベル付きデータセットの作成によって可能になった。
協調ロボットの具体化された遠隔操作を可能にするために、仮想領域における自然および直感的な手のジェスチャーの力を利用するためには、同様に大きなデータセットを作成して、作業インターフェースを学習しやすくし、さらにジェスチャを追加するのに十分な柔軟性を持たせる必要がある。
アプリケーションによっては、計算上または経済的に禁止される可能性がある。
したがって、実環境と仮想環境でうまく機能するトレーニングされたディープラーニングモデルの適応は、この課題の解決策となるかもしれない。
本稿では,仮想データセットのサイズを限定した現実から仮想への適応のための体系的フレームワークと,キュレートされたデータセットを作成するためのガイドラインを提案する。
最後に、手振りをコミュニケーションモードとみなす一方で、提示されたガイドラインや勧告は一般的である。
これらは、実際のドメインで利用可能な大きなデータセットを持つボディポーズや表情などの他のモードにも適用できます。
関連論文リスト
- Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。
この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。
本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
論文 参考訳（メタデータ） (2024-10-16T19:59:31Z) - VR-GPT: Visual Language Model for Intelligent Virtual Reality Applications [2.5022287664959446]
本研究では,VR環境における視覚言語モデルを用いたユーザインタラクションとタスク効率向上のための先駆的アプローチを提案する。
本システムは,視覚的テキスト命令に頼ることなく,自然言語処理によるリアルタイム・直感的なユーザインタラクションを支援する。
論文 参考訳（メタデータ） (2024-05-19T12:56:00Z) - RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.47045863999061]
本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。
RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
論文 参考訳（メタデータ） (2024-02-21T14:59:46Z) - ArK: Augmented Reality with Knowledge Interactive Emergent Ability [115.72679420999535]
基礎モデルから新しいドメインへの知識記憶の伝達を学習する無限エージェントを開発する。
私たちのアプローチの核心は、Augmented Reality with Knowledge Inference Interaction (ArK)と呼ばれる新しいメカニズムである。
我々のArKアプローチは,大規模な基礎モデルと組み合わせることで,生成された2D/3Dシーンの品質を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-05-01T17:57:01Z) - Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances [76.34037366117234]
ロボット制御ジェスチャー(RoCoG-v2)と呼ばれる新しいデータセットを導入する。
データセットは7つのジェスチャークラスの実ビデオと合成ビデオの両方で構成されている。
我々は,最先端の行動認識とドメイン適応アルゴリズムを用いて結果を示す。
論文 参考訳（メタデータ） (2023-03-17T23:23:55Z) - Accelerating Interactive Human-like Manipulation Learning with GPU-based
Simulation and High-quality Demonstrations [25.393382192511716]
コンタクトリッチなタスクを対話的に操作するための没入型仮想現実遠隔操作インタフェースを提案する。
我々は,大規模並列RLと模倣学習の相補的強みを実証し,頑健で自然な振る舞いを示す。
論文 参考訳（メタデータ） (2022-12-05T09:37:27Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - The Gesture Authoring Space: Authoring Customised Hand Gestures for
Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。
提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。
本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
論文 参考訳（メタデータ） (2022-07-03T18:33:33Z) - Mutual Scene Synthesis for Mixed Reality Telepresence [4.504833177846264]
混合現実テレプレゼンス(Mixed Reality Telepresence)により、参加者は2Dスクリーンベースのコミュニケーション方法では以前は不可能だった幅広い活動に参加することができる。
本稿では,参加者の空間を入力として捉え,各参加者の局所的な空間の機能に対応する仮想合成シーンを生成する,新たな相互シーン合成手法を提案する。
本手法は,相互関数最適化モジュールと深層学習条件付きシーン拡張プロセスを組み合わせることで,複合現実テレプレゼンスシナリオの全参加者に対して相互に,物理的にアクセス可能なシーンを生成する。
論文 参考訳（メタデータ） (2022-04-01T02:08:11Z) - Efficient Realistic Data Generation Framework leveraging Deep
Learning-based Human Digitization [0.0]
提案手法は、実際の背景画像として入力され、さまざまなポーズで人物を投入する。
対応するタスクのベンチマークと評価は、実データに対する補足として、合成データが効果的に使用できることを示している。
論文 参考訳（メタデータ） (2021-06-28T08:07:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。