論文の概要: RIT-Eyes: Rendering of near-eye images for eye-tracking applications
- arxiv url: http://arxiv.org/abs/2006.03642v1
- Date: Fri, 5 Jun 2020 19:18:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 04:00:40.480539
- Title: RIT-Eyes: Rendering of near-eye images for eye-tracking applications
- Title(参考訳): RIT-Eyes:視線追跡のための近眼画像のレンダリング
- Authors: Nitinraj Nair, Rakshit Kothari, Aayush K. Chaudhary, Zhizhuo Yang,
Gabriel J. Diaz, Jeff B. Pelz, Reynold J. Bailey
- Abstract要約: ビデオベースの視線追跡のためのディープニューラルネットワークは、ノイズの多い環境、迷路反射、低解像度に対するレジリエンスを実証している。
これらのネットワークをトレーニングするには、手動でアノテートした画像が多数必要である。
本研究では, アクティブな変形可能な虹彩, 非球性角膜, 網膜反射, 視線調整眼球の変形, 点滅などの特徴を付加することにより, 従来よりも優れた合成眼球画像生成プラットフォームを提案する。
- 参考スコア(独自算出の注目度): 3.4481343795011226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks for video-based eye tracking have demonstrated
resilience to noisy environments, stray reflections, and low resolution.
However, to train these networks, a large number of manually annotated images
are required. To alleviate the cumbersome process of manual labeling, computer
graphics rendering is employed to automatically generate a large corpus of
annotated eye images under various conditions. In this work, we introduce a
synthetic eye image generation platform that improves upon previous work by
adding features such as an active deformable iris, an aspherical cornea,
retinal retro-reflection, gaze-coordinated eye-lid deformations, and blinks. To
demonstrate the utility of our platform, we render images reflecting the
represented gaze distributions inherent in two publicly available datasets,
NVGaze and OpenEDS. We also report on the performance of two semantic
segmentation architectures (SegNet and RITnet) trained on rendered images and
tested on the original datasets.
- Abstract(参考訳): ビデオベースの視線追跡のためのディープニューラルネットワークは、ノイズの多い環境、迷路反射、低解像度に対するレジリエンスを実証している。
しかし、これらのネットワークを訓練するには、多数の手作業による注釈画像が必要である。
手動ラベリングの煩雑なプロセスを軽減するため、コンピュータグラフィックスレンダリングを用いて、様々な条件下で注釈付き眼画像の大規模なコーパスを自動生成する。
そこで本研究では, 眼球内レンズ, 眼球角膜, 網膜の逆反射, 視線調整眼底変形, 瞬きなどの機能追加により, 従来の作業を改善する人工眼球画像生成プラットフォームを提案する。
プラットフォームの有用性を示すために,NVGaze と OpenEDS という2つの公開データセットに固有の表現された視線分布を反映した画像を描画する。
また,2つのセマンティックセグメンテーションアーキテクチャ(SegNetとRITnet)の性能について報告する。
関連論文リスト
- Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳(メタデータ) (2024-02-20T01:43:51Z) - Cross-view Self-localization from Synthesized Scene-graphs [1.9580473532948401]
クロスビューの自己ローカライゼーションは、スパース視点からデータベースイメージを提供する視覚的場所認識の難解なシナリオである。
生画像から計算したビュー不変外観特徴と合成画像から計算したビュー依存空間意味特徴の利点を組み合わせたハイブリッドシーンモデルを提案する。
論文 参考訳(メタデータ) (2023-10-24T04:16:27Z) - LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking
using Synthetic Eye Images [9.150553995510217]
我々は、従来の手法とは異なり、ビデオベースのアイトラッキングに必要な重要な画像のみをモデル化する「ライトアイズ」または「リーズ」というフレームワークを提案する。
我々は、Leyesを用いて訓練されたモデルが、瞳孔やCRの局在の点から他の最先端アルゴリズムよりも一貫して優れていることを実証した。
論文 参考訳(メタデータ) (2023-09-12T11:08:14Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳(メタデータ) (2022-06-14T12:47:47Z) - Gaze Estimation with Eye Region Segmentation and Self-Supervised
Multistream Learning [8.422257363944295]
本稿では、視線推定のための頑健な視線表現を学習する新しいマルチストリームネットワークを提案する。
まず,目に見える眼球と虹彩をシミュレーターを用いて詳述した眼球領域マスクを含む合成データセットを作成する。
次に、U-Net型モデルを用いて視線領域分割を行い、実際の画像の視線領域マスクを生成する。
論文 参考訳(メタデータ) (2021-12-15T04:44:45Z) - Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement [3.4722706398428493]
低照度画像は人間の知覚とコンピュータビジョンのアルゴリズムの両方に挑戦する。
計算写真やコンピュータビジョンアプリケーションのための低照度画像の啓蒙にアルゴリズムを堅牢にすることが不可欠である。
本稿では,ペア画像の欠如により訓練されたセマンティック誘導ゼロショット低照度拡張ネットワークを提案する。
論文 参考訳(メタデータ) (2021-10-03T10:07:36Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳(メタデータ) (2021-04-08T17:59:58Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳(メタデータ) (2020-04-01T12:56:13Z) - Towards Coding for Human and Machine Vision: A Scalable Image Coding
Approach [104.02201472370801]
圧縮モデルと生成モデルの両方を活用することにより,新しい画像符号化フレームワークを考案した。
高度な生成モデルを導入することで、コンパクトな特徴表現と参照画素から画像を再構成するフレキシブルネットワークを訓練する。
実験により、人間の視覚的品質と顔のランドマーク検出の両方において、我々の枠組みが優れていることが示された。
論文 参考訳(メタデータ) (2020-01-09T10:37:17Z) - Scene Text Synthesis for Efficient and Effective Deep Network Training [62.631176120557136]
我々は,背景画像に前景オブジェクトを埋め込むことで,注釈付き訓練画像を構成する革新的な画像合成技術を開発した。
提案手法は,ディープネットワークトレーニングにおける合成画像の有用性を高める2つの重要な要素から構成される。
複数の公開データセットに対する実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2019-01-26T10:15:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。