論文の概要: EgoAlign: Situated 3D Understanding without Situation Descriptions

• arxiv url: http://arxiv.org/abs/2610.16176v1
• Date: Mon, 12 Oct 2026 04:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:12:48.438661
• Title: EgoAlign: Situated 3D Understanding without Situation Descriptions
• Title（参考訳）: EgoAlign: 状況記述のない3D理解
• Abstract要約: Situated 3D Question Answeringは、エージェントのポーズに対して3Dシーンを解釈するモデルを必要とする。 既存の方法は、自然言語の状況記述を通じて、そのポーズを一般的に伝達する。 エージェント中心の座標フレームのシーンを表すシンプルな3D言語モデルであるEgoAlignを紹介する。
• 参考スコア（独自算出の注目度）: 24.96743533127197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Situated 3D Question Answering requires models to interpret a 3D scene relative to an agent's pose. Existing methods commonly convey that pose through a natural-language situation description, which may be unavailable or costly to obtain in real-world deployments. While some methods additionally incorporate numerical pose, we find that randomly shuffling the agent pose causes little performance degradation, indicating limited functional dependence on the numerical pose. To address this gap, we introduce EgoAlign, a simple 3D language model that represents a scene in an agent-centric coordinate frame, together with a dedicated egocentric alignment stage comprising four complementary tasks: object category recognition, egocentric direction prediction, metric distance estimation, and spatial relation prediction. This stage teaches the model to consistently interpret scene geometry relative to the agent's pose before task-specific fine-tuning. EgoAlign achieves the strongest performance on SQA3D, Real-3DQA, and MSQA among compared methods while remaining highly efficient. More importantly, removing textual situation descriptions yields comparable or better downstream performance, whereas shuffling EgoAlign's numerical pose causes substantial degradation. These results show that EgoAlign establishes agent-centric spatial context directly from numerical pose without requiring textual situation descriptions.
• Abstract（参考訳）: Situated 3D Question Answeringは、エージェントのポーズに対して3Dシーンを解釈するモデルを必要とする。 既存の方法では、実際のデプロイメントで利用できない、あるいはコストがかかるような、自然言語による状況記述を通じて、そのポーズを一般的に伝達する。 数値的なポーズを付加する手法もあるが、エージェントのポーズをランダムにシャッフルすると性能が低下しにくくなり、数値的なポーズに限定的な機能的依存が示される。 このギャップに対処するために,エージェント中心の座標フレームにおけるシーンを表現するシンプルな3次元言語モデルであるEgoAlignと,オブジェクトカテゴリ認識,エゴセントリック方向予測,距離推定,空間関係予測という4つの補完的なタスクからなる専用エゴセントリックアライメントステージを紹介する。 この段階は、タスク固有の微調整の前に、エージェントのポーズに対するシーンの幾何学を一貫して解釈するようにモデルに教える。 EgoAlignは、SQA3D、Real-3DQA、MSQAにおいて、高い効率を維持しながら比較手法の中で最強のパフォーマンスを達成した。 さらに重要なのは、テキストの状況記述を削除することで、同等あるいはより優れたダウンストリームのパフォーマンスが得られる一方で、EgoAlignの数値的なポーズをシャッフルすることは、大幅な劣化を引き起こすことだ。 これらの結果から,EgoAlignはテキストの状況記述を必要とせず,数値的なポーズから直接エージェント中心の空間コンテキストを確立することが示唆された。

関連論文リスト

• DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation [58.47973015036709]
  DisPOSEは、本質的に離散的な多視点人物割り当て問題を近似する自己教師型フレームワークである。 特定可能なシンクホーン射影を用いることにより、本モデルは有効かつ実現可能な課題への解の導出を学ぶ。 提案手法は、標準データセット上での最先端の自己教師手法よりも優れている。
  論文  参考訳（メタデータ） (2026-06-05T16:14:39Z)
• RieMind: Geometry-Grounded Spatial Agent for Scene Understanding [47.34079422330063]
  現在のアプローチは、端から端までのビデオ理解や、微調整による大規模空間質問に頼っている。 明示的な3次元シーングラフ(3DSG)にLCMを接地する静的3次元屋内シーンのためのエージェントフレームワークを提案する。 エージェントの変種は,平均33%から50%の間で,大幅なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2026-03-16T15:02:24Z)
• DreamPose3D: Hallucinative Diffusion with Prompt Learning for 3D Human Pose Estimation [18.240580699213197]
  本研究では,3次元ポーズ推定のための行動認識推論と時間的想像力を組み合わせた拡散型フレームワークDreamPose3Dを紹介する。 DreamPose3Dは2次元ポーズシーケンスから抽出したタスク関連アクションプロンプトを用いて動的にデノナイズ処理を条件付け、ハイレベルなインテントをキャプチャする。 本研究では,関節間の構造的関係を効果的にモデル化するために,運動的関節親和性を注目機構に組み込んだ表現エンコーダを提案する。 幻覚的ポーズデコーダは、トレーニング中の時間的コヒーレントな3Dポーズを予測する。
  論文  参考訳（メタデータ） (2025-11-12T17:31:41Z)
• A Single 2D Pose with Context is Worth Hundreds for 3D Human Pose Estimation [18.72362803593654]
  3Dポーズ列を3Dに上げる3Dポーズ推定における支配的なパラダイムは、長期的な時間的手がかりに大きく依存している。 これは、通常の2次元の関節座標が視覚的手がかりを持たないため、空間的文脈を知覚できないことに起因する。 そこで本研究では,市販の2次元ポーズ検出器によって生成される,手軽に利用可能な中間的視覚表現を活用する,単純かつ強力なソリューションを提案する。
  論文  参考訳（メタデータ） (2023-11-06T18:04:13Z)
• Scene-aware Egocentric 3D Human Pose Estimation [72.57527706631964]
  頭部に1台の魚眼カメラを装着したエゴセントリックな3Dポーズ推定は、仮想現実や拡張現実における多くの応用により、近年注目を集めている。 既存の方法はまだ、人間の体が非常に隠蔽されている、あるいはシーンと密接な相互作用がある、挑戦的なポーズに苦慮している。 本研究では,シーン制約による自己中心型ポーズの予測を導くシーン認識型自己中心型ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T21:35:39Z)
• Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation [63.199549837604444]
  3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。 我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。 我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
  論文  参考訳（メタデータ） (2022-04-05T03:52:57Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。