論文の概要: LLM Granularity for On-the-Fly Robot Control

• arxiv url: http://arxiv.org/abs/2406.14653v1
• Date: Thu, 20 Jun 2024 18:17:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 18:23:10.651830
• Title: LLM Granularity for On-the-Fly Robot Control
• Title（参考訳）: オンザフライロボット制御のためのLLM粒度
• Authors: Peng Wang, Mattia Robbiani, Zhihao Guo,
• Abstract要約: 視覚が信頼できない、あるいは利用できない状況では、ロボットを制御するための言語のみに頼ることができるのか? 本研究は,(1)様々な粒度の言語プロンプトに対する補助ロボットの応答を評価し,(2)ロボットのオンザフライ制御の必要性と実現可能性を探る。
• 参考スコア（独自算出の注目度）: 3.5015824313818578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assistive robots have attracted significant attention due to their potential to enhance the quality of life for vulnerable individuals like the elderly. The convergence of computer vision, large language models, and robotics has introduced the `visuolinguomotor' mode for assistive robots, where visuals and linguistics are incorporated into assistive robots to enable proactive and interactive assistance. This raises the question: \textit{In circumstances where visuals become unreliable or unavailable, can we rely solely on language to control robots, i.e., the viability of the `linguomotor` mode for assistive robots?} This work takes the initial steps to answer this question by: 1) evaluating the responses of assistive robots to language prompts of varying granularities; and 2) exploring the necessity and feasibility of controlling the robot on-the-fly. We have designed and conducted experiments on a Sawyer cobot to support our arguments. A Turtlebot robot case is designed to demonstrate the adaptation of the solution to scenarios where assistive robots need to maneuver to assist. Codes will be released on GitHub soon to benefit the community.
• Abstract（参考訳）: 高齢者のような脆弱な個人にとって、生活の質を高める可能性から、補助ロボットは大きな注目を集めている。 コンピュータビジョン、大規模言語モデル、ロボット工学の融合により、視覚学と言語学を協調ロボットに組み込んで、積極的に対話的な支援を可能にする「視覚運動」モードが導入された。 視覚が信頼できない、あるいは利用できない状況では、ロボットを制御するために言語のみを頼りにできますか。 } この作業は、この質問に答える最初のステップを取ります。 1) 様々な粒度の言語プロンプトに対する補助ロボットの反応の評価 2)ロボットの飛行制御の必要性と実現可能性を探る。 議論を支援するために,Sawyerコボットを用いた実験を設計し,実施した。 Turtlebotのロボットケースは、補助ロボットが補助のために操作する必要があるシナリオへのソリューションの適応を実証するために設計されている。 コードはすぐにGitHubでリリースされ、コミュニティに利益をもたらす。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Know your limits! Optimize the robot's behavior through self-awareness [11.021217430606042]
  最近の人間ロボット模倣アルゴリズムは、高精度な人間の動きを追従することに焦点を当てている。 本稿では,ロボットが参照を模倣する際の動作を予測できるディープラーニングモデルを提案する。 我々のSAW(Self-AWare Model)は、転倒確率、基準運動への固執、滑らかさといった様々な基準に基づいて、潜在的なロボットの挙動をランク付けする。
  論文  参考訳（メタデータ） (2024-09-16T14:14:58Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation [50.616995671367704]
  そこで本研究では,人型ロボットが器用な手を備えた,高次元シミュレーション型ロボット学習ベンチマークHumanoidBenchを提案する。 その結果,現在最先端の強化学習アルゴリズムがほとんどのタスクに支障をきたすのに対して,階層的学習アプローチはロバストな低レベルポリシーに支えられた場合,優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T17:45:44Z)
• HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks [5.057755436092344]
  人間のロボットのインタラクションは、人間の指示に従ってロボットを誘導する、エキサイティングなタスクだ。 HuBo-VLMは人間のロボットのインタラクションに関連する知覚課題に取り組むために提案されている。
  論文  参考訳（メタデータ） (2023-08-24T03:47:27Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Exploring AI-enhanced Shared Control for an Assistive Robotic Arm [4.999814847776098]
  特に,アートインテリジェンス(AI)を共有制御パラダイムに統合する方法について検討する。 特に,人間とロボットのインターフェースの簡潔な要件に着目した。
  論文  参考訳（メタデータ） (2023-06-23T14:19:56Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• Robots with Different Embodiments Can Express and Influence Carefulness in Object Manipulation [104.5440430194206]
  本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。 ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
  論文  参考訳（メタデータ） (2022-08-03T13:26:52Z)
• Know Thyself: Transferable Visuomotor Control Through Robot-Awareness [22.405839096833937]
  新しいロボットをスクラッチからトレーニングするためには、通常大量のロボット固有のデータを生成する必要がある。 簡単なロボット「自己認識」を活用する「ロボット認識」ソリューションパラダイムを提案する。 シミュレーションおよび実際のロボットにおけるテーブルトップ操作に関する実験により、これらのプラグインの改善により、ビジュモータコントローラの転送性が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2021-07-19T17:56:04Z)
• Natural Language Interaction to Facilitate Mental Models of Remote Robots [0.0]
  ロボットには、ロボットができることとできないことを明確にした精神モデルが必要です。 本稿では,遠隔ロボットの機能を理解する上で,仲介者として機能する対話型アシスタントとのインタラクションが有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-12T16:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。