論文の概要: EgoFun3D: Modeling Interactive Objects from Egocentric Videos using Function Templates
- arxiv url: http://arxiv.org/abs/2604.11038v1
- Date: Mon, 13 Apr 2026 06:06:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.357446
- Title: EgoFun3D: Modeling Interactive Objects from Egocentric Videos using Function Templates
- Title（参考訳）: EgoFun3D: 関数テンプレートを用いたエゴセントリックビデオからの対話型オブジェクトのモデリング
- Abstract要約: エゴセントリックビデオからインタラクティブな3Dオブジェクトをモデリングするための,協調型タスク定式化,データセット,ベンチマークであるEgoFun3Dを提案する。
本課題は,エゴセントリックな映像入力からシミュレーション可能なインタラクティブな3Dオブジェクトを得ることである。
そこで本研究では,2次元部分分割,再構成,調音推定,関数テンプレート推論という4段階のパイプラインを提案する。
- 参考スコア（独自算出の注目度）: 10.36299959288067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present EgoFun3D, a coordinated task formulation, dataset, and benchmark for modeling interactive 3D objects from egocentric videos. Interactive objects are of high interest for embodied AI but scarce, making modeling from readily available real-world videos valuable. Our task focuses on obtaining simulation-ready interactive 3D objects from egocentric video input. While prior work largely focuses on articulations, we capture general cross-part functional mappings (e.g., rotation of stove knob controls stove burner temperature) through function templates, a structured computational representation. Function templates enable precise evaluation and direct compilation into executable code across simulation platforms. To enable comprehensive benchmarking, we introduce a dataset of 271 egocentric videos featuring challenging real-world interactions with paired 3D geometry, segmentation over 2D and 3D, articulation and function template annotations. To tackle the task, we propose a 4-stage pipeline consisting of: 2D part segmentation, reconstruction, articulation estimation, and function template inference. Comprehensive benchmarking shows that the task is challenging for off-the-shelf methods, highlighting avenues for future work.
- Abstract（参考訳）: エゴセントリックビデオからインタラクティブな3Dオブジェクトをモデリングするための,協調型タスク定式化,データセット,ベンチマークであるEgoFun3Dを提案する。
インタラクティブなオブジェクトは、具現化されたAIには高い関心を持っているが、少ないため、利用可能な現実世界のビデオのモデリングは価値がある。
本課題は,エゴセントリックな映像入力からシミュレーション可能なインタラクティブな3Dオブジェクトを得ることである。
先行研究は主に調音に焦点が当てられているが、一般的なクロスパート汎関数写像(例えばストーブノブの回転はストーブバーナー温度を制御する)を、構造化された計算表現である関数テンプレートを通して捉えている。
関数テンプレートは、シミュレーションプラットフォーム間で実行可能コードへの正確な評価と直接コンパイルを可能にする。
総合的なベンチマークを可能にするために,2Dと3Dのセグメンテーション,調音および関数テンプレートアノテーションといった,ペアリングされた3次元幾何との現実的相互作用に挑戦する271のエゴセントリックビデオのデータセットを導入した。
そこで本研究では,2次元部分分割,再構成,調音推定,関数テンプレート推論という4段階のパイプラインを提案する。
包括的なベンチマークは、タスクが既成のメソッドでは難しいことを示し、将来の作業の道のりを強調している。
関連論文リスト
- Instruct-Particulate: Scaling Feed-Forward 3D Object Articulation with Kinematic Control [86.64250947574749]
合成された3Dオブジェクトの再構成は、アニメーション、ゲーム、ロボットシミュレーションにおいて重要である。
最近のニューラルネットワークは、3Dオブジェクトの明瞭な構造を推定できるが、その一般化は注釈付きデータの不足によって制限されている。
Instruct-Particulateは、3Dメッシュとターゲットキネマティック仕様を併用するモデルである。
論文 参考訳（メタデータ） (2026-06-12T17:59:36Z) - Articulated 3D Scene Graphs for Open-World Mobile Manipulation [55.97942733699124]
本報告では, セマンティックな3次元シーングラフを構築するためのフレームワークであるMoMa-SGについて述べる。
新たな統合的ツイスト推定法を用いて調音モデルを推定する。
また,Arti4D-Semanticデータセットについても紹介する。
論文 参考訳（メタデータ） (2026-02-18T10:40:35Z) - REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。
室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文 参考訳（メタデータ） (2025-10-13T12:37:59Z) - IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳（メタデータ） (2025-04-09T12:36:48Z) - Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。
室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。
我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
論文 参考訳（メタデータ） (2024-12-02T11:33:55Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。