論文の概要: GoferBot: A Visual Guided Human-Robot Collaborative Assembly System
- arxiv url: http://arxiv.org/abs/2304.08840v1
- Date: Tue, 18 Apr 2023 09:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 15:26:10.514255
- Title: GoferBot: A Visual Guided Human-Robot Collaborative Assembly System
- Title（参考訳）: GoferBot: ビジュアルガイド付き人間ロボット協調組立システム
- Authors: Zheyu Zhuang, Yizhak Ben-Shabat, Jiahao Zhang, Stephen Gould, Robert
Mahony
- Abstract要約: GoferBot(ゴーファーボット)は、現実のアセンブリータスクのための新しい視覚ベースの意味的HRCシステムである。
GoferBotは、視覚的知覚から純粋に暗黙のセマンティック情報を活用することで、すべてのサブモジュールをシームレスに統合する新しいアセンブリシステムである。
- 参考スコア（独自算出の注目度）: 33.649596318580215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current transformation towards smart manufacturing has led to a growing
demand for human-robot collaboration (HRC) in the manufacturing process.
Perceiving and understanding the human co-worker's behaviour introduces
challenges for collaborative robots to efficiently and effectively perform
tasks in unstructured and dynamic environments. Integrating recent data-driven
machine vision capabilities into HRC systems is a logical next step in
addressing these challenges. However, in these cases, off-the-shelf components
struggle due to generalisation limitations. Real-world evaluation is required
in order to fully appreciate the maturity and robustness of these approaches.
Furthermore, understanding the pure-vision aspects is a crucial first step
before combining multiple modalities in order to understand the limitations. In
this paper, we propose GoferBot, a novel vision-based semantic HRC system for a
real-world assembly task. It is composed of a visual servoing module that
reaches and grasps assembly parts in an unstructured multi-instance and dynamic
environment, an action recognition module that performs human action prediction
for implicit communication, and a visual handover module that uses the
perceptual understanding of human behaviour to produce an intuitive and
efficient collaborative assembly experience. GoferBot is a novel assembly
system that seamlessly integrates all sub-modules by utilising implicit
semantic information purely from visual perception.
- Abstract（参考訳）: スマートマニュファクチャリングへの現在の転換により、製造プロセスにおけるヒューマンロボットコラボレーション(HRC)の需要が高まっている。
人間の同僚の行動の知覚と理解は、非構造的でダイナミックな環境でのタスクを効率的に効果的に実行するための協調ロボットの課題をもたらす。
最近のデータ駆動マシンビジョン機能をRCシステムに統合することは、これらの課題に対処するための論理的な次のステップである。
しかし、これらの場合、既製の部品は一般化の限界のために苦労する。
これらのアプローチの成熟度と堅牢性を完全に評価するためには、実世界の評価が必要である。
さらに、制約を理解するために複数のモダリティを組み合わせる前に、純粋ビジョンの側面を理解することは重要な第一歩である。
本稿では,現実の組立タスクのための新しい視覚ベースセマンティックHRCシステムであるGoferBotを提案する。
非構造化マルチインスティスタンス・ダイナミック環境において組立部品を到達・把握する視覚サーボモジュールと、暗黙的なコミュニケーションのために人間の行動予測を行う行動認識モジュールと、人間の行動の知覚的理解を利用して直感的で効率的な協調的な組立体験を生成する視覚ハンドオーバモジュールとからなる。
GoferBotは、視覚的知覚から純粋に暗黙のセマンティック情報を活用することで、すべてのサブモジュールをシームレスに統合する新しいアセンブリシステムである。
関連論文リスト
- One to rule them all: natural language to bind communication, perception and action [0.9302364070735682]
本稿では,Large Language Models (LLMs) によるコミュニケーション,知覚,計画を統合したロボット行動計画のための高度なアーキテクチャを提案する。
Planner Moduleはシステムの中核であり、修正されたReActフレームワークに組み込み、ユーザーコマンドの解釈と実行にLLMが使用される。
修正されたReActフレームワークは、リアルタイムな環境認識と身体行動の結果を提供することにより、実行スペースをさらに強化する。
論文 参考訳（メタデータ） (2024-11-22T16:05:54Z) - HARMONIC: A Framework for Explanatory Cognitive Robots [0.0]
本稿では,認知ロボットを実現するためのフレームワークであるHARMONICを紹介する。
このフレームワークは、高レベルの意思決定のための戦略的(認知的)層と低レベルの制御と実行のための戦術的(ロボット)層との相互運用性をサポートする。
論文 参考訳（メタデータ） (2024-09-26T16:42:13Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳（メタデータ） (2024-06-01T13:28:31Z) - MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。
我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。
ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
論文 参考訳（メタデータ） (2024-03-05T18:08:45Z) - RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis [102.1876259853457]
汎用ロボット行動合成のための木構造多モードコード生成フレームワークRoboCodeXを提案する。
RoboCodeXは、高レベルの人間の命令を複数のオブジェクト中心の操作ユニットに分解する。
概念的および知覚的理解を制御コマンドにマッピングする能力をさらに強化するため、事前学習のための特別なマルチモーダル推論データセットを収集し、教師付き微調整のための反復的自己更新手法を導入する。
論文 参考訳（メタデータ） (2024-02-25T15:31:43Z) - QUAR-VLA: Vision-Language-Action Model for Quadruped Robots [37.952398683031895]
中心となるアイデアは、ロボットの全体的な知性を高めることだ。
本稿では,VLAモデルのファミリである Quadruped Robotic Transformer (QUART) を提案する。
提案手法は,動作可能なロボットポリシーを導き,一貫した能力の獲得を可能にする。
論文 参考訳（メタデータ） (2023-12-22T06:15:03Z) - Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic
Gaussian Mixture Models [21.13906762261418]
ロボット操作システムの長年の課題は、取得したモータースキルを、目に見えない環境に適応させ、一般化することだ。
我々は、模倣と強化のパラダイムを統合するハイブリッドスキルモデルを用いて、この課題に取り組む。
提案手法は,ロボットが新規環境への大幅なゼロショット一般化を実現し,目標環境におけるスキルをスクラッチから学習するよりも早く洗練することができることを示す。
論文 参考訳（メタデータ） (2023-10-23T16:03:23Z) - Online Learning and Planning in Cognitive Hierarchies [10.28577981317938]
ロボットシステムの複雑な統合推論動作をモデル化するために,既存の形式的枠組みを拡張した。
新しいフレームワークは、異なる推論コンポーネント間の相互作用をより柔軟なモデリングを可能にする。
論文 参考訳（メタデータ） (2023-10-18T23:53:51Z) - Unified Human-Scene Interaction via Prompted Chain-of-Contacts [61.87652569413429]
HSI(Human-Scene Interaction)は、AIや仮想現実といった分野において重要なコンポーネントである。
本稿では,言語コマンドによる多様なインタラクションの統一制御を支援する統一型HSIフレームワークUniHSIを提案する。
論文 参考訳（メタデータ） (2023-09-14T17:59:49Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳（メタデータ） (2023-04-30T22:51:31Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳（メタデータ） (2022-12-19T22:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。