論文の概要: Multi-Object Manipulation via Object-Centric Neural Scattering Functions
- arxiv url: http://arxiv.org/abs/2306.08748v1
- Date: Wed, 14 Jun 2023 21:14:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 17:22:34.114724
- Title: Multi-Object Manipulation via Object-Centric Neural Scattering Functions
- Title(参考訳): 物体中心神経散乱関数による多物体操作
- Authors: Stephen Tian, Yancheng Cai, Hong-Xing Yu, Sergey Zakharov, Katherine
Liu, Adrien Gaidon, Yunzhu Li, Jiajun Wu
- Abstract要約: モデル予測制御フレームワークにおいて,オブジェクト中心型ニューラル散乱関数(OSF)をオブジェクト表現として用いることを提案する。
OSFは、オブジェクトごとの光輸送をモデルとし、オブジェクトの再配置と様々な照明条件の下で構成シーンの再レンダリングを可能にする。
- 参考スコア(独自算出の注目度): 40.45919680959231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learned visual dynamics models have proven effective for robotic manipulation
tasks. Yet, it remains unclear how best to represent scenes involving
multi-object interactions. Current methods decompose a scene into discrete
objects, but they struggle with precise modeling and manipulation amid
challenging lighting conditions as they only encode appearance tied with
specific illuminations. In this work, we propose using object-centric neural
scattering functions (OSFs) as object representations in a model-predictive
control framework. OSFs model per-object light transport, enabling
compositional scene re-rendering under object rearrangement and varying
lighting conditions. By combining this approach with inverse parameter
estimation and graph-based neural dynamics models, we demonstrate improved
model-predictive control performance and generalization in compositional
multi-object environments, even in previously unseen scenarios and harsh
lighting conditions.
- Abstract(参考訳): 学習された視覚力学モデルはロボット操作に有効であることが証明されている。
しかし、マルチオブジェクトインタラクションに関わるシーンを表現できる最善の方法はまだ不明である。
現在の方法はシーンを離散的なオブジェクトに分解するが、特定の照度に結びついた外観のみをエンコードするため、照明条件に挑戦する中で正確なモデリングと操作に苦慮する。
本稿では,モデル予測制御フレームワークにおけるオブジェクト表現として,オブジェクト中心のニューラル散乱関数(osfs)を用いることを提案する。
OSFは、オブジェクトごとの光輸送をモデルとし、オブジェクトの再配置と様々な照明条件の下で構成シーンの再レンダリングを可能にする。
このアプローチを逆パラメータ推定とグラフに基づくニューラルダイナミクスモデルと組み合わせることで,従来考えられなかったシナリオや過酷な照明条件においても,モデル予測制御性能の向上と合成多目的環境における一般化を実証する。
関連論文リスト
- AnyLens: A Generative Diffusion Model with Any Rendering Lens [60.339223862292535]
最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。
本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-29T13:06:48Z) - UniQuadric: A SLAM Backend for Unknown Rigid Object 3D Tracking and
Light-Weight Modeling [7.626461564400769]
本稿では,エゴモーショントラッキング,剛体オブジェクトモーショントラッキング,モデリングを統一するSLAMバックエンドを提案する。
本システムは,複雑な動的シーンにおける物体知覚の潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-29T07:50:09Z) - Dynamic-Resolution Model Learning for Object Pile Manipulation [33.05246884209322]
本研究では,様々な抽象レベルで動的かつ適応的な表現を学習し,効率と効率の最適なトレードオフを実現する方法について検討する。
具体的には、環境の動的分解能粒子表現を構築し、グラフニューラルネットワーク(GNN)を用いた統一力学モデルを学ぶ。
本手法は, 粒状オブジェクトの収集, ソート, 再分配において, 最先端の固定解像度ベースラインよりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-29T05:51:44Z) - Learning Object-Centric Neural Scattering Functions for Free-Viewpoint
Relighting and Scene Composition [28.533032162292297]
本稿では,物体の外観を画像のみから再構成する物体中心型ニューラル散乱関数を提案する。
OSFは、自由視点オブジェクトのリライトをサポートするが、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化することもできる。
実データと合成データの実験では、OSFは不透明な物体と半透明な物体の両方の外観を正確に再構成している。
論文 参考訳(メタデータ) (2023-03-10T18:55:46Z) - Robust Dynamic Radiance Fields [79.43526586134163]
動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。
しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。
カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
論文 参考訳(メタデータ) (2023-01-05T18:59:51Z) - MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary
Monocular Cameras [98.40768911788854]
4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。
私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。
複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
論文 参考訳(メタデータ) (2021-06-08T16:03:50Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z) - Learning Predictive Representations for Deformable Objects Using
Contrastive Estimation [83.16948429592621]
視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。
我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
論文 参考訳(メタデータ) (2020-03-11T17:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。