論文の概要: Towards No-Code Programming of Cobots: Experiments with Code Synthesis by Large Code Models for Conversational Programming

• arxiv url: http://arxiv.org/abs/2409.11041v2
• Date: Wed, 18 Sep 2024 07:17:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 12:04:00.612658
• Title: Towards No-Code Programming of Cobots: Experiments with Code Synthesis by Large Code Models for Conversational Programming
• Title（参考訳）: Cobotのノーコードプログラミングに向けて:会話型プログラミングのための大規模コードモデルによるコード合成実験
• Authors: Chalamalasetti Kranti, Sherzod Hakimov, David Schlangen,
• Abstract要約: LLM(Large Language Models)は、対話型コード生成のためのコンテキスト内学習を行うように設計されている。 本研究は,テキスト中の実例から,このようなコードを合成するための最先端のLLMの性能を評価する。
• 参考スコア（独自算出の注目度）: 18.256529559741075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While there has been a lot of research recently on robots in household environments, at the present time, most robots in existence can be found on shop floors, and most interactions between humans and robots happen there. ``Collaborative robots'' (cobots) designed to work alongside humans on assembly lines traditionally require expert programming, limiting ability to make changes, or manual guidance, limiting expressivity of the resulting programs. To address these limitations, we explore using Large Language Models (LLMs), and in particular, their abilities of doing in-context learning, for conversational code generation. As a first step, we define RATS, the ``Repetitive Assembly Task'', a 2D building task designed to lay the foundation for simulating industry assembly scenarios. In this task, a `programmer' instructs a cobot, using natural language, on how a certain assembly is to be built; that is, the programmer induces a program, through natural language. We create a dataset that pairs target structures with various example instructions (human-authored, template-based, and model-generated) and example code. With this, we systematically evaluate the capabilities of state-of-the-art LLMs for synthesising this kind of code, given in-context examples. Evaluating in a simulated environment, we find that LLMs are capable of generating accurate `first order code' (instruction sequences), but have problems producing `higher-order code' (abstractions such as functions, or use of loops).
• Abstract（参考訳）: 最近、家庭環境におけるロボットの研究が盛んに行われているが、現在、ほとんどのロボットが店の床で発見されており、人間とロボットの相互作用はそこで起きている。 組立ライン上で人間と一緒に働くように設計された「協調ロボット」(コボット)は、伝統的に専門家のプログラミングを必要とし、変更を行う能力や手動指導を制限し、その結果のプログラムの表現力を制限する。 これらの制約に対処するために,Large Language Models (LLMs) と,特に会話コード生成のためのコンテキスト内学習能力について検討する。 最初のステップとして、業界アセンブリのシナリオをシミュレートするための基盤となるように設計された2Dビルディングタスクである‘反復アセンブリタスク’であるRATSを定義します。 このタスクでは、‘プログラマ’は、自然言語を使って、あるアセンブリをどのように構築するかについて、コボットに指示する。 ターゲット構造と、さまざまな例示(ヒューマンライサード、テンプレートベース、モデル生成)と、サンプルコードとをペアリングするデータセットを作成します。 そこで本研究では,テキスト内例から,このようなコードを合成するための最先端のLLMの能力を体系的に評価する。 シミュレーション環境での評価では,LLMは正確な「第1次コード」を生成することができるが,「高次コード」を生成する問題(関数やループの使用など)がある。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis [102.1876259853457]
  汎用ロボット行動合成のための木構造多モードコード生成フレームワークRoboCodeXを提案する。 RoboCodeXは、高レベルの人間の命令を複数のオブジェクト中心の操作ユニットに分解する。 概念的および知覚的理解を制御コマンドにマッピングする能力をさらに強化するため、事前学習のための特別なマルチモーダル推論データセットを収集し、教師付き微調整のための反復的自己更新手法を導入する。
  論文  参考訳（メタデータ） (2024-02-25T15:31:43Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Verifiably Following Complex Robot Instructions with Foundation Models [16.564788361518197]
  人々は、柔軟に制約を表現し、任意のランドマークを参照し、ロボットに指示する際の検証を望みます。 本稿では,ロボットが表現的かつ複雑なオープンエンド命令を確実に追従できるような,動き計画のための言語指導基盤を提案する。 LIMは、インストラクターの意図したロボットのアライメントを明らかにする象徴的な指示表現を構築する。
  論文  参考訳（メタデータ） (2024-02-18T08:05:54Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model [63.66204449776262]
  Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。 我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。 我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-18T17:59:49Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。