論文の概要: Self-Modeling Robots by Photographing
- arxiv url: http://arxiv.org/abs/2503.05398v1
- Date: Fri, 07 Mar 2025 13:21:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 12:20:54.481923
- Title: Self-Modeling Robots by Photographing
- Title（参考訳）: 撮影による自己モデリングロボット
- Authors: Kejun Hu, Peng Yu, Ning Tan,
- Abstract要約: 本稿では,ロボットの自己モデリングのための高品質,テクスチャ認識,リンクレベル手法を提案する。
我々は3Dガウスアンを用いて、ロボットの静的形態とテクスチャを表現し、3Dガウスアンをクラスタリングして神経楕円体骨を構築する。
関節角度でキネマティックニューラルネットワークを入力することにより,ロボットの形態,運動学,テクスチャをリンクレベルで記述することができる。
- 参考スコア（独自算出の注目度）: 4.482658473425829
- License:
- Abstract: Self-modeling enables robots to build task-agnostic models of their morphology and kinematics based on data that can be automatically collected, with minimal human intervention and prior information, thereby enhancing machine intelligence. Recent research has highlighted the potential of data-driven technology in modeling the morphology and kinematics of robots. However, existing self-modeling methods suffer from either low modeling quality or excessive data acquisition costs. Beyond morphology and kinematics, texture is also a crucial component of robots, which is challenging to model and remains unexplored. In this work, a high-quality, texture-aware, and link-level method is proposed for robot self-modeling. We utilize three-dimensional (3D) Gaussians to represent the static morphology and texture of robots, and cluster the 3D Gaussians to construct neural ellipsoid bones, whose deformations are controlled by the transformation matrices generated by a kinematic neural network. The 3D Gaussians and kinematic neural network are trained using data pairs composed of joint angles, camera parameters and multi-view images without depth information. By feeding the kinematic neural network with joint angles, we can utilize the well-trained model to describe the corresponding morphology, kinematics and texture of robots at the link level, and render robot images from different perspectives with the aid of 3D Gaussian splatting. Furthermore, we demonstrate that the established model can be exploited to perform downstream tasks such as motion planning and inverse kinematics.
- Abstract（参考訳）: 自己モデリングにより、ロボットは人間の介入や事前情報を最小限に抑え、自動的に収集できるデータに基づいて、形態や運動学のタスクに依存しないモデルを構築することができる。
近年の研究は、ロボットの形態と運動学をモデル化する上で、データ駆動技術の可能性を強調している。
しかし、既存の自己モデリング手法は、モデリング品質の低さや過剰なデータ取得コストに悩まされている。
形態学やキネマティックス以外にも、テクスチャはロボットにとって重要な要素であり、モデル化は困難であり、未調査のままである。
本研究では,ロボットの自己モデリングのための高品質なテクスチャ認識,リンクレベル手法を提案する。
我々は3次元ガウスアンを用いてロボットの静的形態とテクスチャを表現し、3次元ガウスアンをクラスタリングして神経楕円体骨を構築し、その変形は運動神経ネットワークによって生成された変換行列によって制御される。
3Dガウスとキネマティックニューラルネットワークは、深度情報のない関節角度、カメラパラメータ、マルチビュー画像からなるデータペアを用いて訓練される。
関節角度でキネマティックニューラルネットワークを入力することにより,ロボットの形態,運動学,テクスチャをリンクレベルで記述し,異なる視点のロボット画像を3Dガウススプラッティングの助けを借りてレンダリングすることができる。
さらに、確立されたモデルを用いて、動作計画や逆運動学などの下流タスクを実行できることを示す。
関連論文リスト
- Dynamic 3D Gaussian Tracking for Graph-Based Neural Dynamics Modeling [10.247075501610492]
マルチビューRGBビデオからオブジェクトダイナミクスを直接学習するフレームワークを導入する。
グラフニューラルネットワークを用いて粒子ベース力学モデルを訓練する。
本手法は,初期設定の異なる物体の動きやロボットの動作を予測できる。
論文 参考訳（メタデータ） (2024-10-24T17:02:52Z) - Differentiable Robot Rendering [45.23538293501457]
本稿では,ロボット本体の視覚的外観を,その制御パラメータに対して直接微分可能とするロボットレンダリングについて紹介する。
画像からロボットのポーズを復元したり、視覚言語モデルを用いてロボットを制御するなど、その能力と用途を実演する。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳（メタデータ） (2023-11-28T18:58:48Z) - High-Degrees-of-Freedom Dynamic Neural Fields for Robot Self-Modeling and Motion Planning [6.229216953398305]
ロボットの自己モデル(英: Robot self-model)は、ロボットの運動計画タスクに使用できる身体形態の表現である。
本研究では,高次自由度を条件とした動的オブジェクト中心シーンのためのエンコーダに基づくニューラル密度場アーキテクチャを提案する。
7-DOFロボットテストセットでは、学習された自己モデルは、ロボットの次元ワークスペースの2%のChamfer-L2距離を達成する。
論文 参考訳（メタデータ） (2023-10-05T16:01:29Z) - RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。
実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
論文 参考訳（メタデータ） (2022-12-13T18:55:15Z) - Real-to-Sim: Predicting Residual Errors of Robotic Systems with Sparse
Data using a Learning-based Unscented Kalman Filter [65.93205328894608]
我々は,動的・シミュレータモデルと実ロボット間の残差を学習する。
学習した残差誤差により、動的モデル、シミュレーション、および実際のハードウェア間の現実的ギャップをさらに埋めることができることを示す。
論文 参考訳（メタデータ） (2022-09-07T15:15:12Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects
with Graph Networks [32.00371492516123]
弾塑性物体のモデリングと操作のためのモデルベース計画フレームワークを提案する。
我々のシステムであるRoboCraftは、グラフニューラルネットワーク(GNN)を用いて粒子ベースの力学モデルを学び、基礎となるシステムの構造を捉える。
実世界のロボットインタラクションデータの10分で、ロボットは制御信号を合成し、弾塑性の物体を様々な形状に変形させるダイナミックスモデルを学習できることを示す。
論文 参考訳（メタデータ） (2022-05-05T20:28:15Z) - Full-Body Visual Self-Modeling of Robot Morphologies [29.76701883250049]
身体の内部計算モデルは、ロボットや動物が行動の計画と制御を行う能力の基礎である。
完全データ駆動型自己モデリングの最近の進歩により、マシンはタスク非依存の相互作用データから直接フォワードキネマティクスを学習できるようになった。
ここでは、フォワードキネマティクスを直接モデル化するのではなく、空間占有クエリに答えることのできる、より有用な自己モデリング形式を提案する。
論文 参考訳（メタデータ） (2021-11-11T18:58:07Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳（メタデータ） (2021-08-30T19:45:07Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。