論文の概要: DiffVL: Scaling Up Soft Body Manipulation using Vision-Language Driven Differentiable Physics

• arxiv url: http://arxiv.org/abs/2312.06408v1
• Date: Mon, 11 Dec 2023 14:29:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 15:17:22.382362
• Title: DiffVL: Scaling Up Soft Body Manipulation using Vision-Language Driven Differentiable Physics
• Title（参考訳）: diffvl: vision-language driven differentiable physics によるソフトボディ操作のスケールアップ
• Authors: Zhiao Huang, Feng Chen, Yewen Pu, Chunru Lin, Hao Su, Chuang Gan
• Abstract要約: DiffVLは、非専門家がソフトボディ操作タスクをコミュニケーションできるようにする手法である。 大規模言語モデルを用いてタスク記述を機械解釈可能な最適化対象に翻訳する。
• 参考スコア（独自算出の注目度）: 69.6158232150048
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Combining gradient-based trajectory optimization with differentiable physics simulation is an efficient technique for solving soft-body manipulation problems. Using a well-crafted optimization objective, the solver can quickly converge onto a valid trajectory. However, writing the appropriate objective functions requires expert knowledge, making it difficult to collect a large set of naturalistic problems from non-expert users. We introduce DiffVL, a method that enables non-expert users to communicate soft-body manipulation tasks -- a combination of vision and natural language, given in multiple stages -- that can be readily leveraged by a differential physics solver. We have developed GUI tools that enable non-expert users to specify 100 tasks inspired by real-life soft-body manipulations from online videos, which we'll make public. We leverage large language models to translate task descriptions into machine-interpretable optimization objectives. The optimization objectives can help differentiable physics solvers to solve these long-horizon multistage tasks that are challenging for previous baselines.
• Abstract（参考訳）: 勾配に基づく軌道最適化と微分可能な物理シミュレーションを組み合わせることは、ソフトボディ操作問題を解決する効率的な手法である。 巧妙な最適化目標を用いて、解法は有効な軌道に迅速に収束することができる。 しかし、適切な目的関数を書くには専門家の知識が必要であり、専門家でないユーザーから大量の自然主義的な問題を集めることは困難である。 diffvlというソフトボディ操作タスク - 視覚と自然言語の組み合わせ - を複数の段階で組み合わせることで,微分物理学の解法で容易に活用できる方法を紹介します。 我々は,オンラインビデオから現実のソフトボディ操作にインスパイアされた100のタスクを,専門家以外のユーザが指定できるGUIツールを開発した。 大規模言語モデルを用いてタスク記述を機械解釈可能な最適化目標に変換する。 この最適化の目的は、微分可能物理学の解法が、以前のベースラインにとって困難な、長い水平多段階のタスクを解くのに役立つ。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Bayesian optimization for robust robotic grasping using a sensorized compliant hand [6.693397171872655]
  触覚センサを含む実システムにおいて,様々な把握指標を分析し,現実的な把握最適化を実現する。 ロボットシステムにおける実験的な評価は、未知の物体の把握を行う方法の有用性を示している。
  論文  参考訳（メタデータ） (2024-10-23T19:33:14Z)
• Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems [0.5461938536945723]
  本研究では,ディープラーニングとERAの機能を組み合わせたハイブリッドアプローチであるDeep-ELAを提案する。 提案するフレームワークは、単目的および多目的の連続最適化問題を分析するために、最初から利用できるか、あるいは様々なタスクに微調整することができる。
  論文  参考訳（メタデータ） (2024-01-02T12:41:17Z)
• Contact Points Discovery for Soft-Body Manipulations with Differentiable Physics [99.86385468927638]
  本稿では,ソフトボディのプラスチックを変形させる物理解法を導出する接触点探索手法(CPDeform)を提案する。 単一段階のタスクでは,移動優先度に基づいて適切な初期接触点を自動的に見つけることができる。 複雑なマルチステージタスクでは、トランスポート優先に基づいて、エンドエフェクタの接触点を反復的に切り替えることができる。
  論文  参考訳（メタデータ） (2022-05-05T17:59:41Z)
• DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools [96.38972082580294]
  DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。 特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。 次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
  論文  参考訳（メタデータ） (2022-03-31T17:59:38Z)
• How to Fill the Optimum Set? Population Gradient Descent with Harmless Diversity [34.790747999729284]
  主損失関数の最適セット内における多様性スコアを最大化する二段階最適化問題を提案する。 提案手法は,テキスト・ツー・イメージ生成,テキスト・ツー・メッシュ生成,分子コンフォーメーション生成,アンサンブルニューラルネットワークトレーニングなど,さまざまなアプリケーション上で,多様なソリューションを効率的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-02-16T23:40:18Z)
• PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics [89.81550748680245]
  PasticineLabと呼ばれる新しい微分可能な物理ベンチマークを導入する。 各タスクにおいて、エージェントはマニピュレータを使用して、プラスチックを所望の構成に変形させる。 本稿では,既存の強化学習(RL)手法と勾配に基づく手法について評価する。
  論文  参考訳（メタデータ） (2021-04-07T17:59:23Z)
• Scalable Differentiable Physics for Learning and Control [99.4302215142673]
  微分物理学は、物理的対象や環境を含む問題を学習し、制御するための強力なアプローチである。 我々は、多数のオブジェクトとその相互作用をサポートすることができる微分可能物理学のためのスケーラブルなフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-07-04T19:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。