論文の概要: TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation
- arxiv url: http://arxiv.org/abs/2607.09169v1
- Date: Fri, 10 Jul 2026 07:56:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.808212
- Title: TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation
- Title（参考訳）: TSR-Ego:Egocentric 3D Human Pose Estimationのためのテンポラリガイドステレオリファインメントフレームワーク
- Abstract要約: 頭部に装着したステレオカメラによるエゴセントリックな3Dポーズ推定は、魚眼の歪み、重度の自己閉塞、頻繁な関節切断により困難である。
TSR-Egoは,短期動作証拠と投影誘導特徴サンプリングを結合した時間誘導ステレオフレームワークである。
UnrealEgo2とUnrealEgo-RWの実験では、特に実世界のシークエンスにおいて、最先端のパフォーマンスが向上している。
- 参考スコア（独自算出の注目度）: 11.399976049695212
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Egocentric 3D human pose estimation from head-mounted stereo cameras is challenging due to fisheye distortion, severe self-occlusion, and frequent truncation of body joints outside the camera field of view. Recent stereo egocentric methods have improved performance through heatmap lifting, stereo correspondence, and transformer-based refinement, but they often rely heavily on frame-local evidence or use temporal information only as auxiliary pose-level context. This limits robustness when current-frame stereo cues are weak, occluded, or ambiguous. We propose TSR-Ego, a temporally guided stereo framework that couples short-term motion evidence with projection-guided feature sampling. The model first enriches dense stereo feature maps using a causal depthwise-separable temporal convolution, allowing past visual evidence to influence the feature space before deformable cross-attention. A single-stage causal stereo decoder then refines learned 3D joint queries through temporal self-attention, joint self-attention, and fisheye deformable stereo cross-attention, using the evolving pose estimate to generate 2D sampling references. Unlike methods that apply temporal reasoning mainly after pose prediction, TSR-Ego uses motion context to shape both the sampled stereo features and the joint representations while preserving online inference without future frames. Experiments on UnrealEgo2 and UnrealEgo-RW show state-of-the-art performance, with especially strong gains on real-world sequences.
- Abstract（参考訳）: 頭部に装着したステレオカメラからの自家中心型3Dポーズ推定は、魚眼の歪み、重度の自己閉塞、視野外における身体関節の頻繁な切断などにより困難である。
最近のステレオ・エゴセントリックな手法は、ヒートマップリフト、ステレオ対応、トランスフォーマーベースの改良によって性能が向上しているが、フレームローカルな証拠に大きく依存したり、補助的なポーズレベルの文脈としてのみ時間情報を使用することが多い。
これにより、現在のフレームステレオキューが弱かったり、閉ざされたり、あいまいな場合に、ロバスト性が制限される。
TSR-Egoは,短期動作証拠と投影誘導特徴サンプリングを結合した時間誘導ステレオフレームワークである。
このモデルはまず、因果的に分離可能な時間的畳み込みを用いて、密集したステレオ特徴写像を豊かにし、過去の視覚的証拠が変形可能なクロスアテンションの前に特徴空間に影響を与えることを可能にする。
単一段階の因果ステレオデコーダは、進化するポーズ推定を用いて、時間的自己アテンション、関節自己アテンション、魚眼変形可能なステレオクロスアテンションを通じて学習した3次元関節クエリを洗練し、2Dサンプリング参照を生成する。
ポーズ予測の後に時間的推論を適用する手法とは異なり、TSR-Egoは、将来のフレームなしでオンライン推論を保ちながら、サンプルステレオ特徴と関節表現の両方を形作る動きコンテキストを使用する。
UnrealEgo2とUnrealEgo-RWの実験では、特に実世界のシーケンスにおいて、最先端のパフォーマンスが向上している。
関連論文リスト
- EgoEV-HandPose: Egocentric 3D Hand Pose Estimation and Gesture Recognition with Stereo Event Cameras [27.55657128726312]
EgoEV-HandPoseはステレオイベントストリームからの2次元ポーズ推定とジェスチャー認識のためのエンドツーエンドフレームワークである。
EgoEVHandsは、エゴセントリックな手認識のための、最初の大規模な現実世界のステレオイベントカメラデータセットである。
論文 参考訳（メタデータ） (2026-05-12T15:51:04Z) - Bidirectional Cross-Modal Prompting for Event-Frame Asymmetric Stereo [54.58078274676216]
イベントカメラは、そのような制限を伴わない高ダイナミックレンジの代替視覚表現を提供する。
本稿では, Bi-CMPStereoについて紹介する。
提案手法は,対象の標準空間内のステレオ表現を微調整し,各モダリティをイベント領域とフレーム領域の両方に投影することにより相補表現を統合する。
論文 参考訳（メタデータ） (2026-04-16T17:59:58Z) - AG-EgoPose: Leveraging Action-Guided Motion and Kinematic Joint Encoding for Egocentric 3D Pose Estimation [11.399976049695212]
AG-EgoPoseは、短距離と長距離の動作コンテキストときめ細かい空間的手がかりを統合して、ロバストなポーズ推定を行う新しいデュアルストリームフレームワークである。
空間ストリームは、重量共有型ResNet-18エンコーダデコーダを用いて、2次元ジョイントヒートマップを生成する。
時間ストリームはResNet-50バックボーンを使用して視覚的特徴を抽出し、アクション認識バックボーンによって処理され、モーションダイナミクスをキャプチャする。
論文 参考訳（メタデータ） (2026-03-26T08:46:51Z) - Stereo World Model: Camera-Guided Stereo Video Generation [52.3922115596956]
本稿では、ステレオビデオ生成のための外観と両眼形状を共同で学習するカメラコンディショニングステレオワールドモデルであるStereoWorldを紹介する。
単分子RGBやRGBDのアプローチとは異なり、StereoWorldはRGBモードでのみ動作する。
論文 参考訳（メタデータ） (2026-03-18T05:42:22Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-12T10:02:23Z) - DreamPose3D: Hallucinative Diffusion with Prompt Learning for 3D Human Pose Estimation [18.240580699213197]
本研究では,3次元ポーズ推定のための行動認識推論と時間的想像力を組み合わせた拡散型フレームワークDreamPose3Dを紹介する。
DreamPose3Dは2次元ポーズシーケンスから抽出したタスク関連アクションプロンプトを用いて動的にデノナイズ処理を条件付け、ハイレベルなインテントをキャプチャする。
本研究では,関節間の構造的関係を効果的にモデル化するために,運動的関節親和性を注目機構に組み込んだ表現エンコーダを提案する。
幻覚的ポーズデコーダは、トレーニング中の時間的コヒーレントな3Dポーズを予測する。
論文 参考訳（メタデータ） (2025-11-12T17:31:41Z) - Mono2Stereo: A Benchmark and Empirical Study for Stereo Conversion [88.67015254278859]
ステレオ変換の詳細な探索を支援するため,高品質なトレーニングデータとベンチマークを提供するMono2Stereoデータセットを紹介した。
1) 左右のビューの違いは微妙であるが、既存のメトリクスでは全体のピクセルを考慮し、ステレオ効果に批判的な領域に集中できない。
本稿では, ステレオ効果に関する人間の判断と高い相関性が得られる新しい評価指標, Stereo Intersection-over-Union を提案する。
論文 参考訳（メタデータ） (2025-03-28T09:25:58Z) - 3D Human Pose Perception from Egocentric Stereo Videos [67.9563319914377]
我々は,エゴセントリックな立体3次元ポーズ推定を改善するためのトランスフォーマーベースの新しいフレームワークを提案する。
本手法は, しゃがんだり座ったりといった困難なシナリオにおいても, 人間のポーズを正確に推定することができる。
私たちはUnrealEgo2、UnrealEgo-RW、およびトレーニングされたモデルをプロジェクトページでリリースします。
論文 参考訳（メタデータ） (2023-12-30T21:21:54Z) - DynamicStereo: Consistent Dynamic Depth from Stereo Videos [91.1804971397608]
ステレオビデオの相違を推定するためにDynamicStereoを提案する。
ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。
スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
論文 参考訳（メタデータ） (2023-05-03T17:40:49Z) - Bridging Stereo Geometry and BEV Representation with Reliable Mutual Interaction for Semantic Scene Completion [45.171150395915056]
3Dセマンティックシーン補完(SSC)は、限られた観測から密集した3Dシーンを推定する必要がある不適切な認識課題である。
従来のカメラベースの手法は、固有の幾何学的曖昧さと不完全な観察のため、正確なセマンティックシーンを予測するのに苦労した。
我々は,SSCにおけるステレオマッチング技術と鳥眼ビュー(BEV)表現学習を利用して,そのような問題に対処する。
論文 参考訳（メタデータ） (2023-03-24T12:33:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。