論文の概要: KeyCLD: Learning Constrained Lagrangian Dynamics in Keypoint Coordinates from Images

• arxiv url: http://arxiv.org/abs/2206.11030v2
• Date: Mon, 15 Jan 2024 12:13:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 03:58:41.099312
• Title: KeyCLD: Learning Constrained Lagrangian Dynamics in Keypoint Coordinates from Images
• Title（参考訳）: KeyCLD: 画像からのキーポイント座標における制約付きラグランジアンダイナミクスの学習
• Authors: Rembert Daems, Jeroen Taets, Francis wyffels and Guillaume Crevecoeur
• Abstract要約: KeyCLDは、イメージからラグランジアンダイナミクスを学ぶためのフレームワークである。 その結果,KeyCLDは画像のシーケンスに基づいて教師なしのエンドツーエンドで訓練されていることがわかった。 我々は,dm_control pendulum, cartpole, acrobot環境の画像からラグランジアン力学の学習を実演する。
• 参考スコア（独自算出の注目度）: 2.6271924362708927
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present KeyCLD, a framework to learn Lagrangian dynamics from images. Learned keypoints represent semantic landmarks in images and can directly represent state dynamics. We show that interpreting this state as Cartesian coordinates, coupled with explicit holonomic constraints, allows expressing the dynamics with a constrained Lagrangian. KeyCLD is trained unsupervised end-to-end on sequences of images. Our method explicitly models the mass matrix, potential energy and the input matrix, thus allowing energy based control. We demonstrate learning of Lagrangian dynamics from images on the dm_control pendulum, cartpole and acrobot environments. KeyCLD can be learned on these systems, whether they are unactuated, underactuated or fully actuated. Trained models are able to produce long-term video predictions, showing that the dynamics are accurately learned. We compare with Lag-VAE, Lag-caVAE and HGN, and investigate the benefit of the Lagrangian prior and the constraint function. KeyCLD achieves the highest valid prediction time on all benchmarks. Additionally, a very straightforward energy shaping controller is successfully applied on the fully actuated systems. Please refer to our project page for code and additional results: https://rdaems.github.io/keycld/
• Abstract（参考訳）: 画像からラグランジアン力学を学習するフレームワークであるKeyCLDを提案する。 学習されたキーポイントはイメージのセマンティックランドマークを表し、状態のダイナミクスを直接表現することができる。 この状態をカルト座標と解釈し、明示的なホロノミックな制約を伴って、制約付きラグランジアンで力学を表現できることが示される。 KeyCLDは、イメージのシーケンスに基づいて教師なしのエンドツーエンドで訓練されている。 本手法は, 質量行列, ポテンシャルエネルギーおよび入力行列を明示的にモデル化し, エネルギーベース制御を可能にする。 我々は,dm_control pendulum, cartpole, acrobot環境の画像からラグランジアン力学の学習を実演する。 KeyCLDは、これらのシステム上で、不動、不動、または完全に作動のいずれかを学ぶことができる。 トレーニングされたモデルは、長期的なビデオ予測を生成でき、ダイナミクスが正確に学習されていることを示している。 我々は,Lag-VAE,Lag-caVAE,HGNを比較し,ラグランジアン先行関数と制約関数の利点について検討する。 KeyCLDはすべてのベンチマークで最も有効な予測時間を達成する。 さらに、完全に作動するシステムに非常に簡単なエネルギー整形制御器がうまく適用されている。 https://rdaems.github.io/keycld/. プロジェクトページ コードと追加結果を参照してください。

関連論文リスト

• SOLD: Reinforcement Learning with Slot Object-Centric Latent Dynamics [16.020835290802548]
  Slot-Attention for Object-centric Latent Dynamicsは、画素入力からオブジェクト中心の動的モデルを学ぶ新しいアルゴリズムである。 構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。 以上の結果から,SOLDは,最先端のモデルベースRLアルゴリズムであるDreamerV3よりも,さまざまなベンチマークロボット環境において優れていた。
  論文  参考訳（メタデータ） (2024-10-11T14:03:31Z)
• VDG: Vision-Only Dynamic Gaussian for Driving Simulation [112.6139608504842]
  ポーズフリーな動的ガウス法(VDG)に自己教師付きVOを導入する。 VDGはRGB画像入力のみで動作可能で、ポーズフリーのダイナミックビュー合成法に比べて高速で広いシーンで動的シーンを構築することができる。 その結果,現状の動的ビュー合成法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-06-26T09:29:21Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Modelling Latent Dynamics of StyleGAN using Neural ODEs [52.03496093312985]
  我々は、GANから独立に反転した潜在符号の軌跡を学習する。 学習した連続軌道により、無限のフレームと一貫したビデオ操作を行うことができる。 提案手法は最先端の性能を実現するが,計算量が少なくなる。
  論文  参考訳（メタデータ） (2022-08-23T21:20:38Z)
• Masked World Models for Visual Control [90.13638482124567]
  視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。 提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:27Z)
• Learning Latent Graph Dynamics for Deformable Object Manipulation [37.12269538618698]
  本研究はDefOrmable Object Manipulationの遅延グラフダイナミクスを学習することを目的とする。 G-DOOMは、変形可能なオブジェクトを相互作用するキーポイントのスパースセットとして近似する。 キーポイントの幾何と相互作用のダイナミクスを抽象的に捉えるグラフニューラルネットワークを学習する。
  論文  参考訳（メタデータ） (2021-04-25T13:06:02Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)
• Unsupervised Learning of Lagrangian Dynamics from Images for Prediction and Control [12.691047660244335]
  画像からラグランジアン力学を学習する新しい教師なしニューラルネットワークモデルを導入する。 このモデルは、座標対応変分オートエンコーダで同時に学習される一般化座標上でラグランジアン力学を推論する。
  論文  参考訳（メタデータ） (2020-07-03T20:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。