論文の概要: PoseFix: Correcting 3D Human Poses with Natural Language

• arxiv url: http://arxiv.org/abs/2309.08480v2
• Date: Wed, 17 Jan 2024 10:09:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 20:51:59.003498
• Title: PoseFix: Correcting 3D Human Poses with Natural Language
• Title（参考訳）: PoseFix:自然言語で3Dの人間を修正
• Authors: Ginger Delmas, Philippe Weinzaepfel, Francesc Moreno-Noguer, Gr\'egory Rogez
• Abstract要約: 逆問題(すなわち自然言語のフィードバックに基づいて3Dポーズを書き換えること)に取り組むことは、3Dキャラクターのアニメーションやロボット教育を支援するのに役立つ。 数千対の3Dポーズとそれに対応するテキストフィードバックからなるPoseFixデータセットを紹介する。 本研究は,(1)検索ポーズとテキスト修飾器を付与した補正された3Dボディポーズを生成するためのテキストベースのポーズ編集,(2)2つのボディポーズの違いに基づいて指示を生成する補正テキスト生成という2つのタスクにおいて,このデータセットの可能性を実証する。
• 参考スコア（独自算出の注目度）: 33.425849096790344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatically producing instructions to modify one's posture could open the door to endless applications, such as personalized coaching and in-home physical therapy. Tackling the reverse problem (i.e., refining a 3D pose based on some natural language feedback) could help for assisted 3D character animation or robot teaching, for instance. Although a few recent works explore the connections between natural language and 3D human pose, none focus on describing 3D body pose differences. In this paper, we tackle the problem of correcting 3D human poses with natural language. To this end, we introduce the PoseFix dataset, which consists of several thousand paired 3D poses and their corresponding text feedback, that describe how the source pose needs to be modified to obtain the target pose. We demonstrate the potential of this dataset on two tasks: (1) text-based pose editing, that aims at generating corrected 3D body poses given a query pose and a text modifier; and (2) correctional text generation, where instructions are generated based on the differences between two body poses.
• Abstract（参考訳）: 姿勢を変えるための指示を自動生成することで、パーソナライズされたコーチングや家庭内理学療法など、無限の応用への扉を開くことができる。 逆問題(すなわち自然言語のフィードバックに基づいて3Dポーズを書き換えること)に取り組むことは、3Dキャラクターのアニメーションやロボットの指導を支援するのに役立つ。 近年の研究では、自然言語と人間の3Dポーズの関連性について研究されているが、3Dボディを記述することには差はない。 本稿では,人間の3次元ポーズを自然言語で補正する問題に取り組む。 この目的のために、数千対の3Dポーズとそれに対応するテキストフィードバックからなるPoseFixデータセットを導入し、ターゲットポーズを得るためにソースポーズをどのように修正する必要があるかを説明する。 本研究は,(1)検索ポーズとテキスト修飾器を付与した補正された3Dボディポーズを生成するテキストベースのポーズ編集,(2)2つのボディポーズの違いに基づいて指示を生成する補正テキスト生成という2つのタスクにおいて,このデータセットの可能性を示す。

関連論文リスト

• PoseEmbroider: Towards a 3D, Visual, Semantic-aware Human Pose Representation [38.958695275774616]
  検索方式で訓練された新しいトランスフォーマーモデルを導入し、上記のモダリティの組み合わせを任意の入力として利用できるようにする。 本稿では,(1)オプションのテキストキューによる画像からのSMPL回帰と(2)きめ細かな命令生成のタスクに対する,そのような埋め込みされたポーズ表現の可能性を示す。
  論文  参考訳（メタデータ） (2024-09-10T14:09:39Z)
• MPL: Lifting 3D Human Pose from Multi-view 2D Poses [75.26416079541723]
  本稿では,大規模かつリッチなトレーニングデータセットが存在する2次元ポーズ推定と,トランスフォーマーネットワークを用いた2次元から3次元ポーズリフトを提案する。 実験の結果,MPJPEの誤差は2次元ポーズを三角測量した3次元ポーズと比較して最大45%減少することがわかった。
  論文  参考訳（メタデータ） (2024-08-20T12:55:14Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• PoseScript: Linking 3D Human Poses and Natural Language [38.85620213438554]
  このデータセットは、6万以上の人間のポーズとリッチな人間アノテーションによる記述をペアリングする。 データセットのサイズを、データハングリー学習アルゴリズムと互換性のあるスケールに拡大するために、精巧なキャプションプロセスを提案する。 このプロセスは、3Dキーポイント上の単純だがジェネリックなルールのセットを使用して、"posecodes"と呼ばれる低レベルのポーズ情報を抽出する。 自動アノテーションでは、利用可能なデータの量は100kに増加し、人間のキャプションを微調整するための深いモデルを効果的に事前訓練することができる。
  論文  参考訳（メタデータ） (2022-10-21T08:18:49Z)
• Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept [49.49032810966848]
  既存の3Dポーズ推定は,1)2Dデータと3Dデータとのあいまいさ,2)よくラベル付けされた2D-3Dポーズペアの欠如に悩まされている。 本研究では,人体の3次元概念を学習するためにラベル付き3次元ポーズを利用する新しい枠組みを提案する。 2つのドメインに適応することにより、3Dポーズから学んだ身体知識を2Dポーズに適用し、2Dポーズエンコーダを誘導し、ポーズリフトに埋め込まれた情報的な3D"想像"を生成する。
  論文  参考訳（メタデータ） (2021-11-23T16:02:12Z)
• Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement [63.853412753242615]
  優れた3次元ポーズ表現を学習することは、人間のポーズ関連タスクにとって重要である。 本稿では,3次元ポーズ表現を学習するために,新しいシームズ・デノナイズドオートエンコーダを提案する。 提案手法は,2つの本質的に異なるタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-14T14:25:22Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。