論文の概要: Vision-Language-Action Model and Diffusion Policy Switching Enables Dexterous Control of an Anthropomorphic Hand

• arxiv url: http://arxiv.org/abs/2410.14022v1
• Date: Thu, 17 Oct 2024 20:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:24:36.289393
• Title: Vision-Language-Action Model and Diffusion Policy Switching Enables Dexterous Control of an Anthropomorphic Hand
• Title（参考訳）: 擬人化ハンドのデクサラス制御を可能にするビジョン・ランゲージ・アクションモデルと拡散政策切替
• Authors: Cheng Pan, Kai Junge, Josie Hughes,
• Abstract要約: 微調整された視覚・言語・行動モデルと拡散モデルの相対的利点を組み合わせたハイブリッド制御法を提案する。 VLAモデルのみを使用する場合と比較して,このモデル切替手法は80%以上の成功率を示す。
• 参考スコア（独自算出の注目度）: 2.7036595757881323
• License:
• Abstract: To advance autonomous dexterous manipulation, we propose a hybrid control method that combines the relative advantages of a fine-tuned Vision-Language-Action (VLA) model and diffusion models. The VLA model provides language commanded high-level planning, which is highly generalizable, while the diffusion model handles low-level interactions which offers the precision and robustness required for specific objects and environments. By incorporating a switching signal into the training-data, we enable event based transitions between these two models for a pick-and-place task where the target object and placement location is commanded through language. This approach is deployed on our anthropomorphic ADAPT Hand 2, a 13DoF robotic hand, which incorporates compliance through series elastic actuation allowing for resilience for any interactions: showing the first use of a multi-fingered hand controlled with a VLA model. We demonstrate this model switching approach results in a over 80\% success rate compared to under 40\% when only using a VLA model, enabled by accurate near-object arm motion by the VLA model and a multi-modal grasping motion with error recovery abilities from the diffusion model.
• Abstract（参考訳）: 本稿では,視覚・言語・行動(VLA)モデルと拡散モデルの相対的優位性を組み合わせたハイブリッド制御手法を提案する。 VLAモデルは言語に指示された高レベルプランニングを提供するが、拡散モデルは特定のオブジェクトや環境に必要な精度と堅牢性を提供する低レベルインタラクションを扱う。 学習データにスイッチング信号を組み込むことで、対象物と配置位置が言語を介して指示されるピック・アンド・プレイス・タスクに対して、これらの2つのモデル間のイベントベースの遷移を可能にする。 このアプローチは、VLAモデルで制御された多指ハンドの最初の使用例を示すため、直列の弾性アクチュエータによるコンプライアンスを組み込んだ13DoFロボットハンドであるADAPT Hand 2にデプロイされる。 本稿では,VLAモデルによる精度の高い近接物体アーム動作と,拡散モデルからの誤差回復能力を有するマルチモーダルグリップ動作によって実現されたVLAモデルのみを用いた場合と比較して,80%以上の成功率を示す。

関連論文リスト

• Large Body Language Models [1.9797215742507548]
  本稿では,LBLM(Large Body Language Models)とLBLM-AVA(LBLMアーキテクチャ)を紹介する。このアーキテクチャは,Transformer-XL大言語モデルと並列化拡散モデルを組み合わせて,マルチモーダル入力(テキスト,音声,ビデオ)からヒューマンライクなジェスチャーを生成する。 LBLM-AVAは、Frecheのジェスチャー距離(FGD)を30%削減し、Frecheの知覚距離(Inception Distance)を25%改善し、ライフライクで文脈的に適切なジェスチャーを生成する上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-21T21:48:24Z)
• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation [32.406783380729024]
  VLA(Vision-Language-Action)モデルは、エンド・ツー・エンドの学習プロセスを通じて、視覚運動制御と命令理解において顕著な可能性を示している。 現在のVLAモデルは、推論中に遅くなり、大量のロボットデータに対して広範な事前トレーニングを必要としているため、重大な課題に直面している。 既存のVLAモデルに対して2つのアドバンテージを提供する,TinyVLAと呼ばれる,コンパクトな視覚言語アクションモデルを導入した。
  論文  参考訳（メタデータ） (2024-09-19T07:10:18Z)
• Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution [82.38677987249348]
  本稿では,従来の視覚処理における既定分解能アプローチを再定義するQwen2-VLシリーズを提案する。 Qwen2-VLでは、さまざまな解像度の画像を異なる数のビジュアルトークンに動的に処理できるNaive Dynamic Resolutionメカニズムが導入されている。 また、Multimodal Rotary Position Embedding (M-RoPE)を統合し、テキスト、画像、ビデオ間で位置情報の効果的な融合を容易にする。
  論文  参考訳（メタデータ） (2024-09-18T17:59:32Z)
• OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
  我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。 OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。 モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
  論文  参考訳（メタデータ） (2024-06-13T15:46:55Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Source-Free Domain Adaptation with Frozen Multimodal Foundation Model [42.19262809313472]
  Source-Free Domain Adaptation (SFDA)は、ターゲットドメインにソースモデルを適用することを目的としている。 ヘテロジニアス知識を生かしながら、リッチな市販の視覚言語(ViL)マルチモーダルモデルの可能性を探る。 本稿では,新しいDIFOアポローチモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-27T12:58:02Z)
• STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
  本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。 メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。 提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-31T16:19:27Z)
• Pretrained Diffusion Models for Unified Human Motion Synthesis [33.41816844381057]
  MoFusionは統合されたモーション合成のためのフレームワークである。 多様な制御信号の挿入を容易にするためにTransformerのバックボーンを使用している。 また、身体部分の運動完了から全身運動生成まで、多粒性合成をサポートする。
  論文  参考訳（メタデータ） (2022-12-06T09:19:21Z)
• Parameter Efficient Multimodal Transformers for Video Representation Learning [108.8517364784009]
  本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。 このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。 本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
  論文  参考訳（メタデータ） (2020-12-08T00:16:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。