論文の概要: Are Synthetic Data Useful for Egocentric Hand-Object Interaction
Detection? An Investigation and the HOI-Synth Domain Adaptation Benchmark
- arxiv url: http://arxiv.org/abs/2312.02672v1
- Date: Tue, 5 Dec 2023 11:29:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 15:53:33.531800
- Title: Are Synthetic Data Useful for Egocentric Hand-Object Interaction
Detection? An Investigation and the HOI-Synth Domain Adaptation Benchmark
- Title（参考訳）: Egocentric Hand-Object Interaction Detectionに合成データは有用か?
HOI-Synth領域適応ベンチマークの検討
- Authors: Rosario Leonardi, Antonino Furnari, Francesco Ragusa, Giovanni Maria
Farinella
- Abstract要約: 本研究では,手動物体間相互作用の合成画像に,手動物体接触状態,バウンディングボックス,ピクセルワイドセグメンテーションマスクをラベル付けしたシミュレータを提案する。
合成データとドメイン適応手法を用いることで、従来の教師付き手法に匹敵する性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 14.188006024550257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this study, we investigate the effectiveness of synthetic data in
enhancing hand-object interaction detection within the egocentric vision
domain. We introduce a simulator able to generate synthetic images of
hand-object interactions automatically labeled with hand-object contact states,
bounding boxes, and pixel-wise segmentation masks. Through comprehensive
experiments and comparative analyses on three egocentric datasets, VISOR,
EgoHOS, and ENIGMA-51, we demonstrate that the use of synthetic data and domain
adaptation techniques allows for comparable performance to conventional
supervised methods while requiring annotations on only a fraction of the real
data. When tested with in-domain synthetic data generated from 3D models of
real target environments and objects, our best models show consistent
performance improvements with respect to standard fully supervised approaches
based on labeled real data only. Our study also sets a new benchmark of domain
adaptation for egocentric hand-object interaction detection (HOI-Synth) and
provides baseline results to encourage the community to engage in this
challenging task. We release the generated data, code, and the simulator at the
following link: https://iplab.dmi.unict.it/HOI-Synth/.
- Abstract（参考訳）: 本研究では,エゴセントリック視覚領域における物体間相互作用検出の促進における合成データの有効性について検討する。
本稿では,ハンドオブジェクトの接触状態,バウンディングボックス,ピクセル単位でのセグメンテーションマスクをラベル付けした,ハンドオブジェクトインタラクションの合成画像を生成するシミュレータを提案する。
総合的な実験と3つのエゴセントリックデータセット(VISOR, EgoHOS, ENIGMA-51)の比較分析により、合成データとドメイン適応技術を用いることで、従来の教師付き手法に匹敵する性能を示しながら、実際のデータの一部にアノテーションを必要とする。
実環境とオブジェクトの3dモデルから生成されたドメイン内合成データでテストすると、ラベル付き実データのみに基づいた標準完全教師付きアプローチに対して、最高のモデルが一貫したパフォーマンス改善を示します。
また,egocentric hand-object interaction detection(hoi-synth)のための新たなドメイン適応ベンチマークも設定し,コミュニティがこの課題に取り組むためのベースライン結果を提供する。
生成されたデータ、コード、シミュレータを以下のリンクでリリースします。
関連論文リスト
- Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。
属性集合上の実データと合成データセットの差について検討する。
興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
論文 参考訳（メタデータ） (2024-04-23T17:10:49Z) - Importance-Aware Adaptive Dataset Distillation [53.79746115426363]
ディープラーニングモデルの開発は、大規模データセットの可用性によって実現されている。
データセットの蒸留は、大きな元のデータセットから必須情報を保持するコンパクトなデータセットを合成することを目的としている。
本稿では, 蒸留性能を向上する重要適応型データセット蒸留(IADD)法を提案する。
論文 参考訳（メタデータ） (2024-01-29T03:29:39Z) - Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。
この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。
セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
論文 参考訳（メタデータ） (2023-12-14T18:56:07Z) - TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。
我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。
合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
論文 参考訳（メタデータ） (2023-10-27T03:32:17Z) - Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A
Comprehensive Benchmark [56.8042116967334]
合成データは、機械学習モデルのトレーニングの代替となる。
合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。
本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
論文 参考訳（メタデータ） (2023-10-25T20:32:02Z) - Exploiting Multimodal Synthetic Data for Egocentric Human-Object
Interaction Detection in an Industrial Scenario [14.188006024550257]
EgoISM-HOIは,手や物体のアノテーションが豊富な産業環境下で合成されたEHOI画像からなる,新しいマルチモーダルデータセットである。
本研究は,提案手法を事前学習するために合成データを活用することにより,実世界のデータでテストした場合の性能が著しく向上することを示す。
この分野での研究を支援するため、私たちはデータセット、ソースコード、事前トレーニングされたモデルをhttps://iplab.dmi.unict.it/egoism-hoi.comで公開しています。
論文 参考訳（メタデータ） (2023-06-21T09:56:55Z) - Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
生成過程が下流MLタスクにどのように影響するかを示す。
本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
論文 参考訳（メタデータ） (2023-05-16T07:30:29Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳（メタデータ） (2022-08-16T20:46:08Z) - Egocentric Human-Object Interaction Detection Exploiting Synthetic Data [19.220651860718892]
産業的文脈において,エゴセントリックなヒューマンオブジェクトインタラクション(EHOI)を検出することの問題点を考察する。
EHOI検出に自動的にラベル付けされたFPV画像を生成するためのパイプラインとツールを提案する。
論文 参考訳（メタデータ） (2022-04-14T15:59:15Z) - On the use of automatically generated synthetic image datasets for
benchmarking face recognition [2.0196229393131726]
GAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。
現実的な顔画像を合成するためのGAN(Generative Adversarial Networks)の最近の進歩は、実際のデータセットを合成データセットで置き換える経路を提供する。
合成データセットのベンチマーク結果は、良い置換であり、多くの場合、実際のデータセットのベンチマークと同様のエラー率とシステムランキングを提供する。
論文 参考訳（メタデータ） (2021-06-08T09:54:02Z) - Semi-synthesis: A fast way to produce effective datasets for stereo
matching [16.602343511350252]
現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。
実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。
実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
論文 参考訳（メタデータ） (2021-01-26T14:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。