論文の概要: Context-Aware Command Understanding for Tabletop Scenarios

• arxiv url: http://arxiv.org/abs/2410.06355v2
• Date: Thu, 10 Oct 2024 10:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 06:09:19.732408
• Title: Context-Aware Command Understanding for Tabletop Scenarios
• Title（参考訳）: テーブルトップシナリオのコンテキスト認識型コマンド理解
• Authors: Paul Gajewski, Antonio Galiza Cerdeira Gonzalez, Bipin Indurkhya,
• Abstract要約: 本稿では,テーブルトップシナリオにおける自然人コマンドの解釈を目的とした,新しいハイブリッドアルゴリズムを提案する。 音声、ジェスチャー、シーンコンテキストを含む複数の情報ソースを統合することにより、ロボットに対して実行可能な指示を抽出する。 システムの長所と短所、特にマルチモーダルコマンド解釈の扱い方について論じる。
• 参考スコア（独自算出の注目度）: 1.7082212774297747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel hybrid algorithm designed to interpret natural human commands in tabletop scenarios. By integrating multiple sources of information, including speech, gestures, and scene context, the system extracts actionable instructions for a robot, identifying relevant objects and actions. The system operates in a zero-shot fashion, without reliance on predefined object models, enabling flexible and adaptive use in various environments. We assess the integration of multiple deep learning models, evaluating their suitability for deployment in real-world robotic setups. Our algorithm performs robustly across different tasks, combining language processing with visual grounding. In addition, we release a small dataset of video recordings used to evaluate the system. This dataset captures real-world interactions in which a human provides instructions in natural language to a robot, a contribution to future research on human-robot interaction. We discuss the strengths and limitations of the system, with particular focus on how it handles multimodal command interpretation, and its ability to be integrated into symbolic robotic frameworks for safe and explainable decision-making.
• Abstract（参考訳）: 本稿では,テーブルトップシナリオにおける自然人コマンドの解釈を目的とした,新しいハイブリッドアルゴリズムを提案する。 音声、ジェスチャー、シーンコンテキストを含む複数の情報ソースを統合することで、システムはロボットに対して実行可能な指示を抽出し、関連するオブジェクトやアクションを識別する。 このシステムは、事前に定義されたオブジェクトモデルに頼ることなく、ゼロショット方式で動作し、様々な環境で柔軟で適応的な使用を可能にする。 我々は,複数のディープラーニングモデルの統合を評価し,実世界のロボット・セットアップにおけるデプロイの適性を評価する。 本アルゴリズムは,言語処理と視覚的グラウンド処理を併用して,様々なタスクに対して頑健に動作する。 さらに,システム評価に使用されるビデオ記録の小さなデータセットもリリースした。 このデータセットは、人間がロボットに自然言語で指示を与える現実世界のインタラクションをキャプチャします。 本稿では,マルチモーダルコマンド解釈の処理方法と,安全かつ説明可能な意思決定のための象徴的ロボットフレームワークへの統合能力を中心に,システムの強みと限界について論じる。

関連論文リスト

• One to rule them all: natural language to bind communication, perception and action [0.9302364070735682]
  本稿では,Large Language Models (LLMs) によるコミュニケーション,知覚,計画を統合したロボット行動計画のための高度なアーキテクチャを提案する。 Planner Moduleはシステムの中核であり、修正されたReActフレームワークに組み込み、ユーザーコマンドの解釈と実行にLLMが使用される。 修正されたReActフレームワークは、リアルタイムな環境認識と身体行動の結果を提供することにより、実行スペースをさらに強化する。
  論文  参考訳（メタデータ） (2024-11-22T16:05:54Z)
• Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
  微分可能シミュレーションは、システム識別の強力なツールとなっている。 本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。 低コストなロボットプラットフォームにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-04T20:48:38Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
  本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。 本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。 テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:23Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• Language-Driven Representation Learning for Robotics [115.93273609767145]
  ロボット工学における視覚表現学習の最近の研究は、日々の作業を行う人間の大規模なビデオデータセットから学ぶことの可能性を実証している。 人間のビデオやキャプションから言語による表現学習を行うためのフレームワークを提案する。 我々は、Voltronの言語駆動学習が、特に高レベル制御を必要とするターゲット問題において、先行技術よりも優れていることを発見した。
  論文  参考訳（メタデータ） (2023-02-24T17:29:31Z)
• Enhancing Interpretability and Interactivity in Robot Manipulation: A Neurosymbolic Approach [0.0]
  本稿では,言語誘導型視覚推論とロボット操作を結合したニューロシンボリックアーキテクチャを提案する。 非熟練の人間ユーザは、制約のない自然言語を用いてロボットに刺激を与え、参照表現(REF)、質問(VQA)、把握動作指示を提供する。 シミュレーション環境では,3次元視覚と言語によるテーブルトップシーンの合成データセットを作成し,我々のアプローチを訓練し,合成シーンと実世界のシーンの両方で広範な評価を行う。
  論文  参考訳（メタデータ） (2022-10-03T12:21:45Z)
• Summarizing a virtual robot's past actions in natural language [0.3553493344868413]
  本稿では,ロボット行動と自然言語記述とを一致させた一般的なデータセットを,ロボット行動要約作業のトレーニング場として活用する方法について述べる。 自動プランナーが使用する動作の中間テキスト表現や、ロボットの自我中心の映像フレームから、このような要約を生成するためのいくつかの方法を提案し、テストする。
  論文  参考訳（メタデータ） (2022-03-13T15:00:46Z)
• INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
  INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。 我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。 我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
  論文  参考訳（メタデータ） (2021-08-25T07:35:21Z)
• Language Understanding for Field and Service Robots in a Priori Unknown Environments [29.16936249846063]
  本稿では,フィールドロボットとサービスロボットによる自然言語命令の解釈と実行を可能にする,新しい学習フレームワークを提案する。 自然言語の発話において、空間的、位相的、意味的な情報を暗黙的に推測する。 本研究では,この分布を確率論的言語基底モデルに組み込んで,ロボットの行動空間のシンボル表現上の分布を推定する。
  論文  参考訳（メタデータ） (2021-05-21T15:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。