論文の概要: Sound-based Multi-Person 3D Pose Estimation

• arxiv url: http://arxiv.org/abs/2609.04902v1
• Date: Fri, 04 Sep 2026 09:02:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.988016
• Title: Sound-based Multi-Person 3D Pose Estimation
• Title（参考訳）: 音響によるマルチパーソン3次元空間推定
• Abstract要約: 本稿では,音響信号のみから多人数の3Dポーズを推定する試みについて述べる。 本稿では,新しいエンコーダデコーダであるSoundMHPEを提案する。
• 参考スコア（独自算出の注目度）: 24.144244218814467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can we recover the 3D poses of multiple people using only sound? This paper presents the first attempt to estimate multi-person 3D poses solely from acoustic signals. Estimating the poses of multiple individuals using acoustic signals is inherently challenging due to the superposition of motion-dependent signal variations. Unlike single-person scenarios, the presence of multiple subjects leads to overlapping acoustic signatures, making it difficult to attribute specific signal changes to an individual's pose. Furthermore, the complexity is compounded by inter-person reflections, which introduce intricate propagation delays that obscure the temporal motion-acoustic relationship. To address these issues, we propose SoundMHPE (Sound-based Multi-person Human Pose Estimator), a novel encoder-decoder framework consisting of two key components. First, the Acoustic Multi-scale Encoder captures diverse temporal and fine-grained frequency features to isolate subtle acoustic signatures from complex, overlapping signals. Second, the Temporal Pose Decoder employs an attention mechanism to disentangle multi-person information across successive frames. By jointly accounting for temporal dynamics and inter-person dependencies, this component precisely reconstructs frame-wise individual poses. To validate our approach, we constructed the 6-hour Acoustic Multi-person Pose (AMP) dataset consisting of 432K synchronized frames of multi-person pose and acoustic data, and demonstrated that our SoundMHPE outperforms baseline models. Project page: https://oumi03.github.io/sound-mhpe/
• Abstract（参考訳）: 音だけで複数の人の3Dポーズを復元できるのか? 本稿では,音響信号のみから多人数の3Dポーズを推定する試みについて述べる。 音響信号を用いて複数の個人のポーズを推定することは、運動依存信号の重畳により本質的に困難である。 一人称のシナリオとは異なり、複数の被験者の存在は音響的シグネチャの重複を招き、個人のポーズに特定の信号の変化を属性付けるのが難しくなる。 さらに、この複雑さは、時間的動きと音響的関係を曖昧にする複雑な伝搬遅延をもたらす対人反射によって複雑化される。 これらの課題に対処するために,2つのキーコンポーネントからなる新しいエンコーダデコーダフレームワークSoundMHPE (Sound-based Multi-person Human Pose Estimator)を提案する。 まず、アコースティック・マルチスケール・エンコーダは、複雑な重なり合う信号から微妙な音響シグネチャを分離するために、様々な時間的および微細な周波数特徴をキャプチャする。 第二に、テンポラル・ポース・デコーダは、連続するフレーム間で複数の人物情報をアンタングルするアテンション機構を用いる。 時間的ダイナミクスと個人間の依存関係を共同で説明することにより、このコンポーネントはフレームワイドな個々のポーズを正確に再構築する。 提案手法を検証するために,432Kフレームの多人数ポーズと音響データからなる6時間音響多人数ポース(AMP)データセットを構築し,ベースラインモデルより優れていることを示した。 プロジェクトページ:https://oumi03.github.io/sound-mhpe/

関連論文リスト

• CineOrchestra: Unified Entity-Centric Conditioning for Cinematic Video Generation [57.47993858752813]
  CineOrchestraは、被写体、イベント、カメラ、ショットトランジションを同時に制御する統合ビデオ拡散モデルである。 私たちの重要な洞察は、これらの異質な映画要素が基本的な構造を共有しているということです。 CineOrchestraは、高密度キャプションとショット・トランジションのタイミングで、アクセントあたりのスペシャリスト6人を上回っている。
  論文  参考訳（メタデータ） (2026-06-11T17:59:10Z)
• DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation [58.47973015036709]
  DisPOSEは、本質的に離散的な多視点人物割り当て問題を近似する自己教師型フレームワークである。 特定可能なシンクホーン射影を用いることにより、本モデルは有効かつ実現可能な課題への解の導出を学ぶ。 提案手法は、標準データセット上での最先端の自己教師手法よりも優れている。
  論文  参考訳（メタデータ） (2026-06-05T16:14:39Z)
• Dynamic Multi-Species Bird Soundscape Generation with Acoustic Patterning and 3D Spatialization [0.0]
  鳥の歌は、急激な周波数変調のチャープ、複雑な振幅の封筒、独特な音響パターン、重なり合う呼び出し、鳥間の動的相互作用を含む。 既存のアプローチは通常、単一の種モデリング、静的呼び出し構造、記録から直接合成することに焦点を当てている。 DSPに基づくチャープ生成と3次元空間化を用いた動的多種鳥サウンドスケープを生成する新しいアルゴリズム駆動フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-24T16:25:55Z)
• Multi-Modal Graph Convolutional Network with Sinusoidal Encoding for Robust Human Action Segmentation [10.122882293302787]
  人間の行動の時間的セグメンテーションは 知的ロボットにとって 協調的な環境において 不可欠です 本稿では,低フレームレート(例えば1fps)の視覚データと高フレームレート(例えば30fps)のモーションデータを統合するマルチモーダルグラフ畳み込みネットワーク(MMGCN)を提案する。 我々の手法は、特にアクションセグメンテーションの精度において最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2025-07-01T13:55:57Z)
• Geometry-Biased Transformer for Robust Multi-View 3D Human Pose Reconstruction [3.069335774032178]
  マルチビュー2次元ポーズシーケンスから3次元ポーズを推定するエンコーダ・デコーダ変換アーキテクチャを提案する。 我々は、Human3.6M、CMU Panoptic、Occlusion-Personsの3つのベンチマーク公開データセットで実験を行った。
  論文  参考訳（メタデータ） (2023-12-28T16:30:05Z)
• PSVT: End-to-End Multi-person 3D Pose and Shape Estimation with Progressive Video Transformers [71.72888202522644]
  本稿では,プログレッシブ・ビデオ・トランスフォーマーを用いたエンドツーエンドのマルチパーソン3D・形状推定フレームワークを提案する。 PSVTでは、時空間エンコーダ(PGA)は空間オブジェクト間のグローバルな特徴依存性をキャプチャする。 時間の経過とともにオブジェクトの分散を処理するために、プログレッシブデコーディングの新しいスキームが使用される。
  論文  参考訳（メタデータ） (2023-03-16T09:55:43Z)
• Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet [24.852728097115744]
  RGBからの多人数ポーズ理解には、ポーズ推定、トラッキング、動き予測という3つの複雑なタスクが含まれる。 既存の作業の多くは、ひとつのタスクに集中するか、複数のタスクを別々に解決するためのマルチステージアプローチを採用するかのどちらかです。 Snipperは、複数の人物によるポーズ推定、追跡、動き予測を同時に行うための統合されたフレームワークである。
  論文  参考訳（メタデータ） (2022-07-09T18:42:14Z)
• Personalized breath based biometric authentication with wearable multimodality [2.335150656883681]
  鼻音の特徴を持つ呼吸は、個人識別と検証において潜在的なバイオメトリックスとして示されている。 胸部のモーションセンサーが捉えた他のモダリティから得られる情報に加えて、オーディオ機能によってパフォーマンスがさらに向上することを示します。
  論文  参考訳（メタデータ） (2021-10-29T17:41:43Z)
• Encoder-decoder with Multi-level Attention for 3D Human Shape and Pose Estimation [61.98690211671168]
  本稿では,マルチレベルアテンション・デコーダ・ネットワーク(MAED)を提案する。 3DPWのトレーニングセットにより、MAEDはPA-MPJPEの6.2、7.2、2.4mmの従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-06T09:06:17Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。