論文の概要: Using CNNs For Users Segmentation In Video See-Through Augmented
Virtuality
- arxiv url: http://arxiv.org/abs/2001.00487v1
- Date: Thu, 2 Jan 2020 15:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 04:22:08.220694
- Title: Using CNNs For Users Segmentation In Video See-Through Augmented
Virtuality
- Title(参考訳): ビデオのシースルーにCNNのセグメンテーションを使おう
- Authors: Pierre-Olivier Pigny and Lionel Dominjon
- Abstract要約: 本稿では,ユーザ・セルフ・ボディや他の参加者をヘッドマウント型ビデオ・シースルー拡張仮想性シナリオに統合するためのディープラーニング技術の使用に関する予備的な結果を示す。
本稿では,ユーザの視点で取得した立体RGBビデオストリームにおいて,ユーザの身体のリアルタイムなセマンティックセマンティックセグメンテーションに畳み込みニューラルネットワークを用いることを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present preliminary results on the use of deep learning
techniques to integrate the users self-body and other participants into a
head-mounted video see-through augmented virtuality scenario. It has been
previously shown that seeing users bodies in such simulations may improve the
feeling of both self and social presence in the virtual environment, as well as
user performance. We propose to use a convolutional neural network for real
time semantic segmentation of users bodies in the stereoscopic RGB video
streams acquired from the perspective of the user. We describe design issues as
well as implementation details of the system and demonstrate the feasibility of
using such neural networks for merging users bodies in an augmented virtuality
simulation.
- Abstract(参考訳): 本稿では,ユーザと他の参加者を統合するための深層学習手法を,ヘッドマウント映像シースルー拡張仮想シナリオに導入する予備的結果について述べる。
このようなシミュレーションでは,仮想環境における自己と社会的存在感,およびユーザパフォーマンスが向上する可能性が指摘されている。
本稿では,畳み込みニューラルネットワークを用いて,ユーザの視点から得られる立体的rgbビデオストリームにおけるユーザ本体のリアルタイム意味セグメンテーションを提案する。
本稿では,設計上の問題とシステム実装の詳細について述べ,拡張仮想性シミュレーションにおいて,そのようなニューラルネットワークを用いたユーザ体統合の実現可能性を示す。
関連論文リスト
- Learning High-Quality Navigation and Zooming on Omnidirectional Images in Virtual Reality [37.564863636844905]
我々は,VRナビゲーションにおける視覚的明瞭度を高めるために,OmniVRと呼ばれる新しいシステムを提案する。
当社のシステムでは,VRに関心のある対象を,ユーザーが自由に見つけてズームインすることができる。
論文 参考訳(メタデータ) (2024-05-01T07:08:24Z) - Neural Clustering based Visual Representation Learning [61.72646814537163]
クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。
本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。
FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
論文 参考訳(メタデータ) (2024-03-26T06:04:50Z) - Towards emotion recognition for virtual environments: an evaluation of
EEG features on benchmark dataset [0.0]
本稿では,感情状態モデリングを目的とした脳波信号から抽出した特徴について検討する。
ユーザへの影響をモデル化し、仮想環境におけるインタラクションエクスペリエンスを向上させるための基盤を提供することを目標としている。
論文 参考訳(メタデータ) (2022-10-25T10:02:55Z) - Force-Aware Interface via Electromyography for Natural VR/AR Interaction [69.1332992637271]
我々はVR/ARにおける自然的および直感的な力入力のための学習ベースのニューラルネットワークを設計する。
我々は,3.3%の平均誤差で指の力量をリアルタイムでデコードし,キャリブレーションの少ない新規ユーザに一般化できることを実証した。
今後のVR/ARにおける、より現実的な物理性に向けた研究を進めるために、我々の研究成果を期待する。
論文 参考訳(メタデータ) (2022-10-03T20:51:25Z) - Differentiable Frequency-based Disentanglement for Aerial Video Action
Recognition [56.91538445510214]
ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。
我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。
我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-09-15T22:16:52Z) - A Multi-user Oriented Live Free-viewpoint Video Streaming System Based
On View Interpolation [15.575219833681635]
リアルタイムに高密度な仮想ビューを合成するためのCNNベースのビューアルゴリズムを提案する。
また,マルチユーザ指向のストリーミング戦略を備えた,エンドツーエンドのライブビューポイントシステムを構築した。
論文 参考訳(メタデータ) (2021-12-20T15:17:57Z) - PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。
PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。
モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文 参考訳(メタデータ) (2021-12-01T19:49:57Z) - Cloud based Scalable Object Recognition from Video Streams using
Orientation Fusion and Convolutional Neural Networks [11.44782606621054]
畳み込みニューラルネットワーク(CNN)は、インテリジェントな視覚オブジェクト認識を行うために広く利用されている。
CNNはいまだに深刻な精度低下、特に照明変動データセットに悩まされている。
視覚オブジェクト認識のための方向融合に基づく新しいCNN手法を提案する。
論文 参考訳(メタデータ) (2021-06-19T07:15:15Z) - AEGIS: A real-time multimodal augmented reality computer vision based
system to assist facial expression recognition for individuals with autism
spectrum disorder [93.0013343535411]
本稿では,コンピュータビジョンと深部畳み込みニューラルネットワーク(CNN)を組み合わせたマルチモーダル拡張現実(AR)システムの開発について述べる。
提案システムはAIGISと呼ばれ,タブレット,スマートフォン,ビデオ会議システム,スマートグラスなど,さまざまなユーザデバイスにデプロイ可能な支援技術である。
我々は空間情報と時間情報の両方を活用して正確な表現予測を行い、それを対応する可視化に変換し、元のビデオフレーム上に描画する。
論文 参考訳(メタデータ) (2020-10-22T17:20:38Z) - Visual Concept Reasoning Networks [93.99840807973546]
分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。
我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。
提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
論文 参考訳(メタデータ) (2020-08-26T20:02:40Z) - Stillleben: Realistic Scene Synthesis for Deep Learning in Robotics [33.30312206728974]
本稿では,シーン認識タスクの学習データを生成するための合成パイプラインについて述べる。
本手法は,物理シミュレーションを用いて,物体メッシュを物理的に現実的で密集したシーンに配置する。
私たちのパイプラインは、ディープニューラルネットワークのトレーニング中にオンラインで実行できます。
論文 参考訳(メタデータ) (2020-05-12T10:11:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。