論文の概要: Are Synthetic Data Useful for Egocentric Hand-Object Interaction Detection?

• arxiv url: http://arxiv.org/abs/2312.02672v2
• Date: Thu, 14 Mar 2024 10:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-16 02:02:44.506602
• Title: Are Synthetic Data Useful for Egocentric Hand-Object Interaction Detection?
• Title（参考訳）: Egocentric Hand-Object Interaction Detection に合成データは有用か?
• Authors: Rosario Leonardi, Antonino Furnari, Francesco Ragusa, Giovanni Maria Farinella,
• Abstract要約: 本研究では,エゴセントリックな手・物体間相互作用検出における合成データの有効性について検討した。 実際のラベル付きデータの10%しか利用できないため、実際のデータにのみ訓練されたベースラインと比較して、全体的なAPの改善を実現しています。
• 参考スコア（独自算出の注目度）: 12.987587227876565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we investigate the effectiveness of synthetic data in enhancing egocentric hand-object interaction detection. Via extensive experiments and comparative analyses on three egocentric datasets, VISOR, EgoHOS, and ENIGMA-51, our findings reveal how to exploit synthetic data for the HOI detection task when real labeled data are scarce or unavailable. Specifically, by leveraging only 10% of real labeled data, we achieve improvements in Overall AP compared to baselines trained exclusively on real data of: +5.67% on EPIC-KITCHENS VISOR, +8.24% on EgoHOS, and +11.69% on ENIGMA-51. Our analysis is supported by a novel data generation pipeline and the newly introduced HOI-Synth benchmark which augments existing datasets with synthetic images of hand-object interactions automatically labeled with hand-object contact states, bounding boxes, and pixel-wise segmentation masks. We publicly release the generated data, code, and data generation tools to support future research at the following link: https://iplab.dmi.unict.it/HOI-Synth/.
• Abstract（参考訳）: 本研究では,エゴセントリックな手・物体間相互作用検出における合成データの有効性について検討した。 また,3つのエゴセントリックデータセット(VISOR,EgoHOS,ENIGMA-51)の広範な実験と比較分析により,実際のラベル付きデータが不足あるいは利用できない場合に,HOI検出タスクの合成データを利用する方法が明らかになった。 具体的には、実際のラベル付きデータの10%しか利用せず、EPIC-KITCHENS VISORで+5.67%、EgoHOSで+8.24%、ENIGMA-51で+11.69%のトレーニングを受けたベースラインと比較して、全体的なAPの改善を実現している。 我々の分析は、新しいデータ生成パイプラインと、新たに導入されたHOI-Synthベンチマークによって支援され、手オブジェクト間相互作用の合成画像に手オブジェクト接触状態、バウンディングボックス、ピクセルワイドセグメンテーションマスクを自動ラベル付けする。 生成されたデータ、コード、およびデータ生成ツールを公開して、次のリンクで将来の研究をサポートする。

関連論文リスト

• Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
  実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。 属性集合上の実データと合成データセットの差について検討する。 興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
  論文  参考訳（メタデータ） (2024-04-23T17:10:49Z)
• Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
  ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。 データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。 本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T03:29:39Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
  TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。 我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。 合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
  論文  参考訳（メタデータ） (2023-10-27T03:32:17Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Exploiting Multimodal Synthetic Data for Egocentric Human-Object Interaction Detection in an Industrial Scenario [14.188006024550257]
  EgoISM-HOIは,手や物体のアノテーションが豊富な産業環境下で合成されたEHOI画像からなる,新しいマルチモーダルデータセットである。 本研究は,提案手法を事前学習するために合成データを活用することにより,実世界のデータでテストした場合の性能が著しく向上することを示す。 この分野での研究を支援するため、私たちはデータセット、ソースコード、事前トレーニングされたモデルをhttps://iplab.dmi.unict.it/egoism-hoi.comで公開しています。
  論文  参考訳（メタデータ） (2023-06-21T09:56:55Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Egocentric Human-Object Interaction Detection Exploiting Synthetic Data [19.220651860718892]
  産業的文脈において,エゴセントリックなヒューマンオブジェクトインタラクション(EHOI)を検出することの問題点を考察する。 EHOI検出に自動的にラベル付けされたFPV画像を生成するためのパイプラインとツールを提案する。
  論文  参考訳（メタデータ） (2022-04-14T15:59:15Z)
• On the use of automatically generated synthetic image datasets for benchmarking face recognition [2.0196229393131726]
  GAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。 現実的な顔画像を合成するためのGAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。 合成データセットのベンチマーク結果は、良い置換であり、多くの場合、実際のデータセットのベンチマークと同様のエラー率とシステムランキングを提供する。
  論文  参考訳（メタデータ） (2021-06-08T09:54:02Z)
• Semi-synthesis: A fast way to produce effective datasets for stereo matching [16.602343511350252]
  現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。 実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。 実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
  論文  参考訳（メタデータ） (2021-01-26T14:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。