論文の概要: Multi-Object Manipulation via Object-Centric Neural Scattering Functions

• arxiv url: http://arxiv.org/abs/2306.08748v1
• Date: Wed, 14 Jun 2023 21:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 17:22:34.114724
• Title: Multi-Object Manipulation via Object-Centric Neural Scattering Functions
• Title（参考訳）: 物体中心神経散乱関数による多物体操作
• Authors: Stephen Tian, Yancheng Cai, Hong-Xing Yu, Sergey Zakharov, Katherine Liu, Adrien Gaidon, Yunzhu Li, Jiajun Wu
• Abstract要約: モデル予測制御フレームワークにおいて,オブジェクト中心型ニューラル散乱関数(OSF)をオブジェクト表現として用いることを提案する。 OSFは、オブジェクトごとの光輸送をモデルとし、オブジェクトの再配置と様々な照明条件の下で構成シーンの再レンダリングを可能にする。
• 参考スコア（独自算出の注目度）: 40.45919680959231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned visual dynamics models have proven effective for robotic manipulation tasks. Yet, it remains unclear how best to represent scenes involving multi-object interactions. Current methods decompose a scene into discrete objects, but they struggle with precise modeling and manipulation amid challenging lighting conditions as they only encode appearance tied with specific illuminations. In this work, we propose using object-centric neural scattering functions (OSFs) as object representations in a model-predictive control framework. OSFs model per-object light transport, enabling compositional scene re-rendering under object rearrangement and varying lighting conditions. By combining this approach with inverse parameter estimation and graph-based neural dynamics models, we demonstrate improved model-predictive control performance and generalization in compositional multi-object environments, even in previously unseen scenarios and harsh lighting conditions.
• Abstract（参考訳）: 学習された視覚力学モデルはロボット操作に有効であることが証明されている。 しかし、マルチオブジェクトインタラクションに関わるシーンを表現できる最善の方法はまだ不明である。 現在の方法はシーンを離散的なオブジェクトに分解するが、特定の照度に結びついた外観のみをエンコードするため、照明条件に挑戦する中で正確なモデリングと操作に苦慮する。 本稿では,モデル予測制御フレームワークにおけるオブジェクト表現として,オブジェクト中心のニューラル散乱関数(osfs)を用いることを提案する。 OSFは、オブジェクトごとの光輸送をモデルとし、オブジェクトの再配置と様々な照明条件の下で構成シーンの再レンダリングを可能にする。 このアプローチを逆パラメータ推定とグラフに基づくニューラルダイナミクスモデルと組み合わせることで,従来考えられなかったシナリオや過酷な照明条件においても,モデル予測制御性能の向上と合成多目的環境における一般化を実証する。

関連論文リスト

• DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
  拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。 我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。 このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
  論文  参考訳（メタデータ） (2024-10-10T17:56:44Z)
• DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
  動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
  論文  参考訳（メタデータ） (2024-09-16T07:11:58Z)
• Curved Diffusion: A Generative Model With Optical Geometry Control [56.24220665691974]
  最終シーンの外観に対する異なる光学系の影響は、しばしば見過ごされる。 本研究では,画像レンダリングに使用される特定のレンズとテキスト画像拡散モデルを密接に統合するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-29T13:06:48Z)
• UniQuadric: A SLAM Backend for Unknown Rigid Object 3D Tracking and Light-Weight Modeling [7.626461564400769]
  本稿では,エゴモーショントラッキング,剛体オブジェクトモーショントラッキング,モデリングを統一するSLAMバックエンドを提案する。 本システムは,複雑な動的シーンにおける物体知覚の潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-29T07:50:09Z)
• Learning Object-Centric Neural Scattering Functions for Free-Viewpoint Relighting and Scene Composition [28.533032162292297]
  本稿では,物体の外観を画像のみから再構成する物体中心型ニューラル散乱関数を提案する。 OSFは、自由視点オブジェクトのリライトをサポートするが、不透明なオブジェクトと半透明なオブジェクトの両方をモデル化することもできる。 実データと合成データの実験では、OSFは不透明な物体と半透明な物体の両方の外観を正確に再構成している。
  論文  参考訳（メタデータ） (2023-03-10T18:55:46Z)
• Robust Dynamic Radiance Fields [79.43526586134163]
  動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。 しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。 カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
  論文  参考訳（メタデータ） (2023-01-05T18:59:51Z)
• MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras [98.40768911788854]
  4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。 私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。 複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
  論文  参考訳（メタデータ） (2021-06-08T16:03:50Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)
• Learning Predictive Representations for Deformable Objects Using Contrastive Estimation [83.16948429592621]
  視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。 我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
  論文  参考訳（メタデータ） (2020-03-11T17:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。