論文の概要: Human Pose Driven Object Effects Recommendation

• arxiv url: http://arxiv.org/abs/2209.08353v1
• Date: Sat, 17 Sep 2022 15:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 16:16:14.228789
• Title: Human Pose Driven Object Effects Recommendation
• Title（参考訳）: ヒューマンポーズ駆動型オブジェクト効果推奨
• Authors: Zhaoxin Fan, Fengxin Li, Hongyan Liu, Jun He, Xiaoyong Du
• Abstract要約: 本稿では,PoseRecと呼ばれる新しいヒューマンポーズ駆動型オブジェクトエフェクトレコメンデーションネットワークを紹介する。 PoseRecは、ビデオイテム登録のための多フレームの3Dポーズから情報を学ぶ。 新しい研究トピックの手法をベンチマークするために、Pose-OBEというオブジェクトエフェクトレコメンデーションのための新しいデータセットを構築した。
• 参考スコア（独自算出の注目度）: 10.58835789387783
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we research the new topic of object effects recommendation in micro-video platforms, which is a challenging but important task for many practical applications such as advertisement insertion. To avoid the problem of introducing background bias caused by directly learning video content from image frames, we propose to utilize the meaningful body language hidden in 3D human pose for recommendation. To this end, in this work, a novel human pose driven object effects recommendation network termed PoseRec is introduced. PoseRec leverages the advantages of 3D human pose detection and learns information from multi-frame 3D human pose for video-item registration, resulting in high quality object effects recommendation performance. Moreover, to solve the inherent ambiguity and sparsity issues that exist in object effects recommendation, we further propose a novel item-aware implicit prototype learning module and a novel pose-aware transductive hard-negative mining module to better learn pose-item relationships. What's more, to benchmark methods for the new research topic, we build a new dataset for object effects recommendation named Pose-OBE. Extensive experiments on Pose-OBE demonstrate that our method can achieve superior performance than strong baselines.
• Abstract（参考訳）: 本稿では,マイクロビデオプラットフォームにおけるオブジェクトエフェクト推薦の新たな話題について検討する。 画像フレームから映像コンテンツを直接学習することによる背景バイアスの問題を回避するため,3次元人物ポーズに隠れた有意義なボディランゲージの利用を提案する。 そこで本研究では,人間のポーズ駆動型物体効果推薦ネットワーク「poserec」について紹介する。 PoseRecは、人間の3Dポーズ検出の利点を活用し、ビデオイテム登録のための多フレームの3Dポーズから情報を学び、高品質なオブジェクトエフェクトレコメンデーション性能をもたらす。 さらに, 対象効果推薦に存在するあいまいさと空間性の問題を解決するために, 新規なアイテム認識型暗黙的プロトタイプ学習モジュールと, ポーズ認識型トランスダクティブ型強陰性マイニングモジュールを提案する。 さらに、新しい研究トピックのメソッドをベンチマークするために、Pose-OBEというオブジェクトエフェクトレコメンデーションのための新しいデータセットを構築します。 Pose-OBEの大規模な実験により,本手法は強いベースラインよりも優れた性能が得られることが示された。

関連論文リスト

• UniPose: A Unified Multimodal Framework for Human Pose Comprehension, Generation and Editing [79.68232381605661]
  さまざまなモダリティにまたがって人間のポーズを理解し、生成し、編集するためのフレームワークであるUniPoseを提案する。 具体的には、3Dポーズを個別のポーズトークンに変換するためにポーズトークンライザを適用し、統一語彙内のLCMへのシームレスな統合を可能にする。 統一的な学習戦略から恩恵を受けるUniPoseは、さまざまなポーズ関連タスク間で知識を効果的に伝達し、目に見えないタスクに適応し、拡張された能力を示す。
  論文  参考訳（メタデータ） (2024-11-25T08:06:30Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding [40.36882490080341]
  暗黙のポーズ埋め込みを用いたコントラスト学習による新しい3D認識型GAN最適化手法を提案する。 判別器は、与えられた画像から高次元の暗黙のポーズ埋め込みを推定し、ポーズ埋め込みについて対照的な学習を行う。 提案手法は、カメラのポーズを検索したり推定したりしないため、標準カメラのポーズが未定義であるデータセットに使用できる。
  論文  参考訳（メタデータ） (2023-04-27T07:53:13Z)
• On the Benefits of 3D Pose and Tracking for Human Action Recognition [77.07134833715273]
  動作認識のためのトラッキングと3Dポーズの利点を示す。 トラックレット上での3次元ポーズと文脈的外観を融合させることにより,ラグランジアン行動認識モデルを提案する。 提案手法は,AVA v2.2データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-04-03T17:59:49Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• ObPose: Leveraging Pose for Object-Centric Scene Inference and Generation in 3D [21.700203922407496]
  ObPoseは教師なしのオブジェクト中心の推論と生成モデルである。 RGB-Dシーンから3D構造化された潜在表現を学習する。 ObPoseは、YCB、MultiShapeNet、CLEVRデータセットで定量的に評価される。
  論文  参考訳（メタデータ） (2022-06-07T21:15:18Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• Using Shape to Categorize: Low-Shot Learning with an Explicit Shape Bias [22.863686803150625]
  低ショット学習手法の一般化性能向上のために,3次元形状の推論をいかに活用できるかを検討する。 3Dオブジェクト形状を用いた識別埋め込み空間の学習により,既存の低ショット学習手法を改善する新しい方法を提案する。 また、低ショット学習もサポートできる最大数のオブジェクトカテゴリを持つ新しい3DオブジェクトデータセットであるToys4Kも開発しています。
  論文  参考訳（メタデータ） (2021-01-18T19:29:41Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。