論文の概要: Enhanced Self-Perception in Mixed Reality: Egocentric Arm Segmentation and Database with Automatic Labelling

• arxiv url: http://arxiv.org/abs/2003.12352v1
• Date: Fri, 27 Mar 2020 12:09:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 05:11:59.181724
• Title: Enhanced Self-Perception in Mixed Reality: Egocentric Arm Segmentation and Database with Automatic Labelling
• Title（参考訳）: 複合現実感における自己知覚の促進:自動ラベリングによる自我中心型アームセグメンテーションとデータベース
• Authors: Ester Gonzalez-Sosa, Pablo Perez, Ruben Tolosana, Redouane Kachach, Alvaro Villegas
• Abstract要約: 本研究は、拡張仮想性における自己認識を改善するために、自我中心の腕のセグメンテーションに焦点を当てる。 GTEA Gaze+, EDSH, EgoHands, Ego Youtube Hands, THU-Read, TEgO, FPAB, Ego Gesture などの実効自我中心のデータセットについて報告する。 このタスクに対するEgoArmデータセットの適合性を確認し、元のネットワークに対して最大40%の改善を実現した。
• 参考スコア（独自算出の注目度）: 1.0149624140985476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we focus on the egocentric segmentation of arms to improve self-perception in Augmented Virtuality (AV). The main contributions of this work are: i) a comprehensive survey of segmentation algorithms for AV; ii) an Egocentric Arm Segmentation Dataset, composed of more than 10, 000 images, comprising variations of skin color, and gender, among others. We provide all details required for the automated generation of groundtruth and semi-synthetic images; iii) the use of deep learning for the first time for segmenting arms in AV; iv) to showcase the usefulness of this database, we report results on different real egocentric hand datasets, including GTEA Gaze+, EDSH, EgoHands, Ego Youtube Hands, THU-Read, TEgO, FPAB, and Ego Gesture, which allow for direct comparisons with existing approaches utilizing color or depth. Results confirm the suitability of the EgoArm dataset for this task, achieving improvement up to 40% with respect to the original network, depending on the particular dataset. Results also suggest that, while approaches based on color or depth can work in controlled conditions (lack of occlusion, uniform lighting, only objects of interest in the near range, controlled background, etc.), egocentric segmentation based on deep learning is more robust in real AV applications.
• Abstract（参考訳）: 本研究では,Augmented Virtuality(AV)における自己認識を改善するために,自我中心の腕分割に着目した。 この作品の主な貢献は次のとおりである。 一 AVのセグメンテーションアルゴリズムの総合的な調査 二 皮膚の色及び性別のバリエーションを含む十万以上の画像からなる自我中心の腕分割データセット。 地上画像及び半合成画像の自動生成に必要な全ての詳細を提供する。 三 深層学習を初めてAVの武器の分断に利用すること。 iv)本データベースの有用性を示すために,gtea gaze+, edsh, egohands, ego youtube hand, thu-read, tego, fpab, ego gestureなど,既存の色や奥行きを利用したアプローチと直接比較可能な,さまざまなエゴセントリックハンドデータセットについて報告する。 結果は、egoarmデータセットのこのタスクへの適合性を確認し、特定のデータセットに応じて、元のネットワークに対して最大40%の改善を達成する。 また、色や深さに基づくアプローチは、制御された状況(閉塞性、均一な照明、近距離の関心対象のみ、背景制御など)で機能するが、ディープラーニングに基づくエゴセントリックセグメンテーションは、実際のavアプリケーションではより堅牢であることを示唆している。

関連論文リスト

• Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning [80.37314291927889]
  EMBEDは、エゴセントリックなビデオ表現学習のための、エゴセントリックなビデオ言語データを変換するために設計された手法である。 エゴセントリックなビデオは、主にクローズアップなハンドオブジェクトのインタラクションを特徴としているのに対し、エゴセントリックなビデオは、人間の活動に対してより広い視点を提供する。 視覚と言語スタイルの転送の両方を適用することで、私たちのフレームワークは新しいエゴセントリックなデータセットを作成します。
  論文  参考訳（メタデータ） (2024-08-07T06:10:45Z)
• EgoNCE++: Do Egocentric Video-Language Models Really Understand Hand-Object Interactions? [48.702973928321946]
  我々は、EgoNCE++という新しい非対称なコントラスト対象をEgoHOIに導入する。 実験の結果,EgoNCE++はオープン語彙HOI認識,マルチインスタンス検索,アクション認識タスクを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:27:29Z)
• EgoPCA: A New Framework for Egocentric Hand-Object Interaction Understanding [99.904140768186]
  本稿では,EgoPCA(Probing, Curation and Adaption)によるEgo-HOI認識の基盤となる新しいフレームワークを提案する。 我々は、総合的なプレトレインセット、バランスの取れたテストセット、およびトレーニングファインタニング戦略を完備した新しいベースラインにコントリビュートする。 私たちは、私たちのデータと発見が、Ego-HOIの理解の新しい道を開くと信じています。
  論文  参考訳（メタデータ） (2023-09-05T17:51:16Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)
• Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications [20.571026014771828]
  11,243枚のエゴセントリックな画像からなるラベル付きデータセットを,手とオブジェクトのピクセルごとのセグメンテーションラベルで提供する。 私たちのデータセットは、ハンドオブジェクトの接触境界をラベル付けした最初のものです。 我々の堅牢なハンドオブジェクトセグメンテーションモデルとデータセットは、下流の視覚アプリケーションを強化または有効化するための基本的なツールとして機能することを示します。
  論文  参考訳（メタデータ） (2022-08-07T21:43:40Z)
• Egocentric Video-Language Pretraining [74.04740069230692]
  Video-Language Pretrainingは、転送可能な表現を学習して、幅広いビデオテキストダウンストリームタスクを前進させることを目的としている。 我々は、最近リリースされたEgo4Dデータセットを利用して、3方向のEgoセントリックトレーニングを開拓しました。 3つのデータセットにわたる5つのエゴセントリックなダウンストリームタスクに対して、強いパフォーマンスを示します。
  論文  参考訳（メタデータ） (2022-06-03T16:28:58Z)
• Real Time Egocentric Object Segmentation: THU-READ Labeling and Benchmarking Results [0.0]
  エゴセントリックセグメンテーションは、MR(Mixed Reality)アプリケーションの可能性から、コンピュータビジョンコミュニティにおいて近年関心を集めている。 RGB-D THU-READデータセットから2124個の画像のサブセットのセマンティックワイズラベリングに寄与する。 また,リアルタイムセマンティックセグメンテーションネットワークであるThundernetによるベンチマーク結果を報告する。
  論文  参考訳（メタデータ） (2021-06-09T10:10:02Z)
• Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos [92.38049744463149]
  大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。 私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。 実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
  論文  参考訳（メタデータ） (2021-04-16T06:10:10Z)
• Ego2Hands: A Dataset for Egocentric Two-hand Segmentation and Detection [1.0742675209112622]
  Ego2Handsは、大規模なRGBベースの手分割/検出データセットで、半自動注釈付きである。 定量的分析のために,既存のベンチマークの量,多様性,アノテーションの精度を大幅に上回る評価セットを手作業でアノテートした。
  論文  参考訳（メタデータ） (2020-11-14T10:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。