論文の概要: Video Inference for Human Mesh Recovery with Vision Transformer
- arxiv url: http://arxiv.org/abs/2507.08981v1
- Date: Fri, 11 Jul 2025 19:31:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:22.058953
- Title: Video Inference for Human Mesh Recovery with Vision Transformer
- Title（参考訳）: 視覚変換器を用いた人間のメッシュ回復のためのビデオ推論
- Authors: Hanbyel Cho, Jaesung Ahn, Yooshin Cho, Junmo Kim,
- Abstract要約: 視覚変換器を用いたヒューマンメッシュ回復のためのビデオ推論(HMR-ViT)を提案する。
HMR-ViTでは、映像エンコーダによってビデオフレームから得られる特徴ベクトルを用いて、テンポラルキネマティックな特徴像を構築する。
提案手法は,Human Meshリカバリにおける競合性能を実現する。
- 参考スコア（独自算出の注目度）: 24.42820252215406
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Human Mesh Recovery (HMR) from an image is a challenging problem because of the inherent ambiguity of the task. Existing HMR methods utilized either temporal information or kinematic relationships to achieve higher accuracy, but there is no method using both. Hence, we propose "Video Inference for Human Mesh Recovery with Vision Transformer (HMR-ViT)" that can take into account both temporal and kinematic information. In HMR-ViT, a Temporal-kinematic Feature Image is constructed using feature vectors obtained from video frames by an image encoder. When generating the feature image, we use a Channel Rearranging Matrix (CRM) so that similar kinematic features could be located spatially close together. The feature image is then further encoded using Vision Transformer, and the SMPL pose and shape parameters are finally inferred using a regression network. Extensive evaluation on the 3DPW and Human3.6M datasets indicates that our method achieves a competitive performance in HMR.
- Abstract（参考訳）: 画像からのヒューマンメッシュリカバリ(HMR)は、タスク固有のあいまいさのため、難しい問題である。
既存のHMR法では,時間的情報や運動的関係を利用して高い精度を実現しているが,どちらの手法も存在しない。
そこで,視覚変換器を用いたヒューマンメッシュ回復のためのビデオ推論 (HMR-ViT) を提案する。
HMR-ViTでは、映像エンコーダによってビデオフレームから得られる特徴ベクトルを用いて、テンポラルキネマティックな特徴像を構築する。
特徴画像を生成する際には、似たようなキネマティックな特徴が空間的に近接するように、チャネル再構成マトリックス(CRM)を使用します。
そして、その特徴画像をVision Transformerを用いてさらに符号化し、SMPLのポーズと形状パラメータをレグレッションネットワークを用いて最終的に推論する。
3DPWおよびHuman3.6Mデータセットの大規模な評価は,本手法がHMRにおける競合性能を達成することを示唆している。
関連論文リスト
- Temporal-Consistent Video Restoration with Pre-trained Diffusion Models [51.47188802535954]
ビデオ復元(VR)は、劣化したビデオから高品質なビデオを復元することを目的としている。
事前訓練拡散モデル(DM)を用いた最近のゼロショットVR法は,逆拡散時の近似誤差と時間的整合性の欠如に悩まされている。
本稿では,DMのシード空間におけるビデオフレームを直接パラメータ化し,近似誤差を排除した新しいMAP(Posterior Maximum)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-19T03:41:56Z) - DeforHMR: Vision Transformer with Deformable Cross-Attention for 3D Human Mesh Recovery [2.1653492349540784]
DeforHMRは、人間のポーズパラメータの予測を強化するために設計された、新しい回帰ベースの単分子HMRフレームワークである。
DeforHMRは、トランスフォーマーデコーダ内の新しいクエリ非依存の変形可能なクロスアテンション機構を活用する。
広範に使用されている3D HMRベンチマーク3DPW と RICH 上で,単一フレーム回帰に基づく手法の最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-18T00:46:59Z) - ARTS: Semi-Analytical Regressor using Disentangled Skeletal Representations for Human Mesh Recovery from Videos [18.685856290041283]
ARTSは、一般的なベンチマークにおけるフレーム単位の精度と時間的一貫性の両方において、既存の最先端のビデオベースの手法を超越している。
ビデオから3Dスケルトンを推定するために,スケルトン推定およびアンタングルメントモジュールを提案する。
回帰器は、Temporal Inverse Kinematics (TIK), bone-guided Shape Fitting (BSF), Motion-Centric Refinement (MCR)の3つのモジュールで構成されている。
論文 参考訳（メタデータ） (2024-10-21T02:06:43Z) - Deep Cardiac MRI Reconstruction with ADMM [7.694990352622926]
心臓画像の分野では, 深層学習(DL)を用いたシネ・マルチコントラスト再建法を提案する。
提案手法は画像領域とk空間領域の両方を最適化し,高い再構成精度を実現する。
論文 参考訳（メタデータ） (2023-10-10T13:46:11Z) - Unfolding Framework with Prior of Convolution-Transformer Mixture and
Uncertainty Estimation for Video Snapshot Compressive Imaging [7.601695814245209]
本稿では, 連続する高速フレームを異なるマスクで変調し, 単一の計測でキャプチャする, ビデオスナップショット圧縮画像(SCI)の問題点について考察する。
最適化アルゴリズムとニューラルネットワークを組み合わせることで、ディープ・アンフォールディング・ネットワーク(DUN)は、逆問題の解決において大きな成果を上げた。
論文 参考訳（メタデータ） (2023-06-20T06:25:48Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T17:56:01Z) - DiffMesh: A Motion-aware Diffusion Framework for Human Mesh Recovery from Videos [20.895221536570627]
ヒューマンメッシュリカバリ(Human Mesh recovery, HMR)は、さまざまな現実世界のアプリケーションに対して、リッチな人体情報を提供する。
ビデオベースのアプローチはこの問題を緩和するために時間的情報を活用する。
DiffMeshはビデオベースのHMRのための革新的な動き認識型拡散型フレームワークである。
論文 参考訳（メタデータ） (2023-03-23T16:15:18Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Deep Two-Stream Video Inference for Human Body Pose and Shape Estimation [18.14237514372724]
RGBビデオから3次元のポーズとメッシュを生成する新しいフレームワークを提案する。
SMPLパラメータを予測するために,トランスフォーマーに基づく2ストリーム時間ネットワークを訓練する。
提案アルゴリズムは,Human3.6と3DPWのデータセットで広く評価されている。
論文 参考訳（メタデータ） (2021-10-22T10:01:13Z) - 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment
Feedback Loop [128.07841893637337]
回帰に基づく手法は最近、単眼画像からヒトのメッシュを再構成する有望な結果を示した。
パラメータの小さな偏差は、推定メッシュと画像のエビデンスの間に顕著な不一致を引き起こす可能性がある。
本稿では,特徴ピラミッドを活用し,予測パラメータを補正するために,ピラミッドメッシュアライメントフィードバック(pymaf)ループを提案する。
論文 参考訳（メタデータ） (2021-03-30T17:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。