論文の概要: Robotic-CLIP: Fine-tuning CLIP on Action Data for Robotic Applications

• arxiv url: http://arxiv.org/abs/2409.17727v1
• Date: Thu, 26 Sep 2024 10:56:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 20:20:41.296718
• Title: Robotic-CLIP: Fine-tuning CLIP on Action Data for Robotic Applications
• Title（参考訳）: Robotic-CLIP: ロボット応用のためのアクションデータのための微調整CLIP
• Authors: Nghia Nguyen, Minh Nhat Vu, Tung D. Ta, Baoru Huang, Thieu Vo, Ngan Le, Anh Nguyen,
• Abstract要約: Contrastive Language-Image Pretraining (CLIP) は、視覚と自然言語の理解の両方を必要とするロボット作業で広く使われている。 ロボット認識能力を高めるために,ロボットCLIPを導入する。
• 参考スコア（独自算出の注目度）: 12.009846926987008
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision language models have played a key role in extracting meaningful features for various robotic applications. Among these, Contrastive Language-Image Pretraining (CLIP) is widely used in robotic tasks that require both vision and natural language understanding. However, CLIP was trained solely on static images paired with text prompts and has not yet been fully adapted for robotic tasks involving dynamic actions. In this paper, we introduce Robotic-CLIP to enhance robotic perception capabilities. We first gather and label large-scale action data, and then build our Robotic-CLIP by fine-tuning CLIP on 309,433 videos (~7.4 million frames) of action data using contrastive learning. By leveraging action data, Robotic-CLIP inherits CLIP's strong image performance while gaining the ability to understand actions in robotic contexts. Intensive experiments show that our Robotic-CLIP outperforms other CLIP-based models across various language-driven robotic tasks. Additionally, we demonstrate the practical effectiveness of Robotic-CLIP in real-world grasping applications.
• Abstract（参考訳）: 視覚言語モデルは、様々なロボットアプリケーションにおいて有意義な特徴を抽出する上で重要な役割を果たしてきた。 これらのうち、コントラスト言語-画像事前学習(CLIP)は、視覚と自然言語の理解の両方を必要とするロボット作業で広く使われている。 しかし、CLIPはテキストプロンプトと組み合わせた静的イメージのみに基づいて訓練されており、動的アクションを含むロボットタスクにはまだ完全に適応していない。 本稿では,ロボット認識能力を高めるロボットCLIPを提案する。 まず、大規模なアクションデータを収集、ラベル付けし、コントラスト学習を用いて309,433のアクションデータ(約740万フレーム)のCLIPを微調整することで、ロボットCLIPを構築します。 アクションデータを活用することで、ロボティックCLIPは、ロボットコンテキストにおけるアクションを理解する能力を獲得しながら、CLIPの強力なイメージパフォーマンスを継承する。 集中的な実験により、私たちのRobotic-CLIPは様々な言語駆動ロボットタスクで他のCLIPベースのモデルよりも優れています。 さらに,実世界の把握アプリケーションにおけるRobotic-CLIPの有効性を実証した。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• In-Context Learning Enables Robot Action Prediction in LLMs [52.285739178561705]
  本稿では,ロボットの動作を直接予測する,オフザシェルフテキストのみの大規模言語モデルを実現するフレームワークであるRoboPromptを紹介する。 われわれのアプローチはまず、エピソードから重要な瞬間を捉えている。 我々は、初期オブジェクトのポーズだけでなく、エンドエフェクタアクションも抽出し、どちらもテキスト記述に変換する。 これにより、LLMはテスト時にロボットの動作を直接予測できる。
  論文  参考訳（メタデータ） (2024-10-16T17:56:49Z)
• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• Body Transformer: Leveraging Robot Embodiment for Policy Learning [51.531793239586165]
  ボディートランスフォーマー(ボディートランスフォーマー、Body Transformer、BoT)は、学習プロセスを導く誘導バイアスを提供することで、ロボットの体現性を活用するアーキテクチャである。 我々はロボットの体をセンサーとアクチュエータのグラフとして表現し、建築全体を通してプール情報にマスキングされた注意を頼りにしている。 結果として得られるアーキテクチャは、バニラ変換器と古典的な多層パーセプトロンを、タスク完了、スケーリング特性、計算効率の点で上回る。
  論文  参考訳（メタデータ） (2024-08-12T17:31:28Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• WALL-E: Embodied Robotic WAiter Load Lifting with Large Language Model [92.90127398282209]
  本稿では,最新のLarge Language Models(LLM)と既存のビジュアルグラウンドとロボットグルーピングシステムを統合する可能性について検討する。 本稿では,この統合の例としてWALL-E (Embodied Robotic WAiter load lifting with Large Language model)を紹介する。 我々は,このLCMを利用したシステムを物理ロボットに展開し,よりユーザフレンドリなインタフェースで指導誘導型把握タスクを実現する。
  論文  参考訳（メタデータ） (2023-08-30T11:35:21Z)
• Language to Rewards for Robotic Skill Synthesis [37.21434094015743]
  我々は,大規模言語モデル(LLM)を利用して,様々なロボットタスクを最適化し,達成可能な報酬パラメータを定義する新しいパラダイムを提案する。 LLMが生成する中間インタフェースとして報酬を用いることで、ハイレベルな言語命令と修正のギャップを、低レベルなロボット動作に効果的に埋めることができる。
  論文  参考訳（メタデータ） (2023-06-14T17:27:10Z)
• SEAL: Semantic Frame Execution And Localization for Perceiving Afforded Robot Actions [5.522839151632667]
  本稿では,ロボット操作行動のセマンティックフレーム表現を拡張し,セマンティックフレーム実行と局所化の問題をグラフィカルモデルとして導入する。 SEAL問題に対して、ロボットに与えられた行動の場所として、有限のセマンティックフレームに対する信念を維持するための非パラメトリックセマンティックフレームマッピング(SeFM)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2023-03-24T15:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。