論文の概要: D-RMGPT: Robot-assisted collaborative tasks driven by large multimodal models
- arxiv url: http://arxiv.org/abs/2408.11761v1
- Date: Wed, 21 Aug 2024 16:34:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-22 16:18:16.523316
- Title: D-RMGPT: Robot-assisted collaborative tasks driven by large multimodal models
- Title（参考訳）: D-RMGPT:大規模マルチモーダルモデルによるロボット支援協調作業
- Authors: M. Forlini, M. Babcinschi, G. Palmieri, P. Neto,
- Abstract要約: 検出ロボット管理GPT(D-RMGPT)は,LMMに基づくロボット支援組立プランナである
マーカや以前のトレーニングを必要とせずに、経験の浅い演算子をアセンブリタスクで支援することができる。
組立成功率83%を達成し、未経験者の組立時間を手作業よりも33%削減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative robots are increasingly popular for assisting humans at work and daily tasks. However, designing and setting up interfaces for human-robot collaboration is challenging, requiring the integration of multiple components, from perception and robot task control to the hardware itself. Frequently, this leads to highly customized solutions that rely on large amounts of costly training data, diverging from the ideal of flexible and general interfaces that empower robots to perceive and adapt to unstructured environments where they can naturally collaborate with humans. To overcome these challenges, this paper presents the Detection-Robot Management GPT (D-RMGPT), a robot-assisted assembly planner based on Large Multimodal Models (LMM). This system can assist inexperienced operators in assembly tasks without requiring any markers or previous training. D-RMGPT is composed of DetGPT-V and R-ManGPT. DetGPT-V, based on GPT-4V(vision), perceives the surrounding environment through one-shot analysis of prompted images of the current assembly stage and the list of components to be assembled. It identifies which components have already been assembled by analysing their features and assembly requirements. R-ManGPT, based on GPT-4, plans the next component to be assembled and generates the robot's discrete actions to deliver it to the human co-worker. Experimental tests on assembling a toy aircraft demonstrated that D-RMGPT is flexible and intuitive to use, achieving an assembly success rate of 83% while reducing the assembly time for inexperienced operators by 33% compared to the manual process. http://robotics-and-ai.github.io/LMMmodels/
- Abstract（参考訳）: コラボレーションロボットは、仕事や日常のタスクで人間を支援することで、ますます人気が高まっている。
しかし、人間とロボットのコラボレーションのためのインターフェースの設計と設定は困難であり、知覚やロボットタスク制御からハードウェア自体まで、複数のコンポーネントを統合する必要がある。
ロボットが自然に人間と協力できる非構造的な環境を知覚し適応することを可能にする、柔軟で一般的なインターフェースの理想から逸脱する。
これらの課題を克服するために,大型マルチモーダルモデル(LMM)に基づくロボット支援組立プランナである検出ロボット管理GPT(D-RMGPT)を提案する。
このシステムは、マーカーや以前のトレーニングを必要とせずに、アセンブリタスクで経験の浅い演算子を支援することができる。
D-RMGPTはDtGPT-VとR-ManGPTから構成される。
GPT-4V(vision)に基づくDETGPT-Vは、現在の組立ステージのトリガ画像と組み立てるべき部品のリストのワンショット解析により周囲環境を知覚する。
機能やアセンブリの要件を分析して、どのコンポーネントがすでに組み立てられているかを特定する。
GPT-4をベースとしたR-ManGPTは、次のコンポーネントを組み立て、ロボットの個別のアクションを生成して、それを人間の同僚に届ける。
玩具機を組み立てる実験では、D-RMGPTは柔軟で直感的に使用でき、組み立て成功率は83%であり、未経験者の組み立て時間は手作業に比べて33%削減された。
http://robotics-and-ai.github.io/LMMmodels/
関連論文リスト
- $\textbf{EMOS}$: $\textbf{E}$mbodiment-aware Heterogeneous $\textbf{M}$ulti-robot $\textbf{O}$perating $\textbf{S}$ystem with LLM Agents [33.77674812074215]
異種ロボット間の効果的な協調を実現するための新しいマルチエージェントフレームワークを提案する。
エージェントがロボットURDFファイルを理解し、ロボットキネマティクスツールを呼び出し、その物理能力の記述を生成する。
Habitat-MASベンチマークは、マルチエージェントフレームワークがエンボディメント認識推論を必要とするタスクをどのように処理するかを評価するように設計されている。
論文 参考訳（メタデータ） (2024-10-30T03:20:01Z) - COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models [49.24666980374751]
COHERENTは、異種マルチロボットシステムの協調のための新しいLCMベースのタスク計画フレームワークである。
提案-実行-フィードバック-調整機構は,個々のロボットに対して動作を分解・割り当てするように設計されている。
実験の結果,我々の研究は,成功率と実行効率の面で,従来の手法をはるかに上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-09-23T15:53:41Z) - Enhancing Supermarket Robot Interaction: A Multi-Level LLM Conversational Interface for Handling Diverse Customer Intents [46.623273455512106]
本稿では,スーパーマーケットロボットのためのマルチレベルLLMインタフェースの設計と評価について述べる。
本手法を, GPT-4 Turbo を用いた特殊な GPT モデルと比較する。
パフォーマンス,ユーザ満足度,ユーザエージェントパートナーシップ,自己イメージ向上の4分野において,統計的に有意な改善が見られた。
論文 参考訳（メタデータ） (2024-06-16T19:13:01Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - Automatic Robotic Development through Collaborative Framework by Large
Language Models [13.957351735394683]
本研究では,現実世界のロボット開発者からヒントを得た,革新的な自動コラボレーションフレームワークを提案する。
このフレームワークは、異なる役割のアナリスト、プログラマ、テスタに複数のLLMを使用している。
アナリストはユーザー要件を深く掘り下げ、プログラマが正確なコードを作成できるようにし、テスタはパラメータを微調整する。
論文 参考訳（メタデータ） (2024-02-06T04:40:27Z) - AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot
Manipulation [50.737355245505334]
本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。
得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
論文 参考訳（メタデータ） (2023-05-30T09:54:20Z) - GoferBot: A Visual Guided Human-Robot Collaborative Assembly System [33.649596318580215]
GoferBot(ゴーファーボット)は、現実のアセンブリータスクのための新しい視覚ベースの意味的HRCシステムである。
GoferBotは、視覚的知覚から純粋に暗黙のセマンティック情報を活用することで、すべてのサブモジュールをシームレスに統合する新しいアセンブリシステムである。
論文 参考訳（メタデータ） (2023-04-18T09:09:01Z) - PACT: Perception-Action Causal Transformer for Autoregressive Robotics
Pre-Training [25.50131893785007]
本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。
本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。
より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-22T16:20:17Z) - Show Me What You Can Do: Capability Calibration on Reachable Workspace
for Human-Robot Collaboration [83.4081612443128]
本稿では,REMPを用いた短時間キャリブレーションにより,ロボットが到達できると考える非専門家と地道とのギャップを効果的に埋めることができることを示す。
この校正手順は,ユーザ認識の向上だけでなく,人間とロボットのコラボレーションの効率化にも寄与することを示す。
論文 参考訳（メタデータ） (2021-03-06T09:14:30Z) - Integrated Benchmarking and Design for Reproducible and Accessible
Evaluation of Robotic Agents [61.36681529571202]
本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。
このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。
本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
論文 参考訳（メタデータ） (2020-09-09T15:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。