論文の概要: A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

• arxiv url: http://arxiv.org/abs/2606.06061v1
• Date: Thu, 04 Jun 2026 12:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.771563
• Title: A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models
• Title（参考訳）: 分散型生成AIモデルを用いたロボット協調操作のための対話型フレームワーク
• Authors: Arash Ghasemzadeh Kakroudi, Roel Pieters,
• Abstract要約: 本稿では,ロボット協調操作のための分散対話フレームワークを提案する。 ローカル言語とビジョン言語モデル(VLM)をロボットオペレーティングシステム2(ROS2)ベースの実行スタックに統合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a distributed conversational framework for human-robot collaborative manipulation that integrates local language and vision-language models (VLMs) with a Robot Operating System 2 (ROS 2)-based execution stack. Language understanding, visual grounding, orchestration, and motion execution run as separate ROS 2 nodes, enabling flexible deployment across distributed hardware while maintaining a responsive control loop. From free-form user commands, the system generates structured action requests for pick, place, and handover. It uses a VLM to return image-space targets, which are converted into metric robot-frame goals using depth and calibration. A web dashboard exposes intermediate intent and grounding overlays (pixel, depth, and robot-frame) and requires explicit operator confirmation before any motion is executed. Experiments on a Franka FR3 platform evaluate end-to-end task reliability and latency under increasing working table scene ambiguity and compare alternative LLM/VLM configurations in the same pipeline. Code and full documentation are available at [github.com/cogrob-tuni/franka-llm](https://github.com/cogrob-tuni/franka-llm).
• Abstract（参考訳）: 本稿では,ロボットオペレーティング・システム2(ROS2)ベースの実行スタックとローカル言語と視覚言語モデル(VLM)を統合する,ロボット協調操作のための分散対話フレームワークを提案する。 言語理解、ビジュアルグラウンド、オーケストレーション、モーション実行は、別々のROS 2ノードとして実行される。 フリーフォームのユーザーコマンドから、システムは選択、配置、ハンドオーバのための構造化されたアクション要求を生成する。 VLMを使って画像空間のターゲットを返却し、深さとキャリブレーションを使ってメートル法ロボットフレームの目標に変換する。 Webダッシュボードは、中間インテントとグラウンドオーバーレイ(ピクセル、深さ、ロボットフレーム)を公開し、任意の動作を実行する前に明示的なオペレータ確認を必要とする。 Franka FR3プラットフォームでの実験では、作業テーブルシーンのあいまいさの増加の下で、エンドツーエンドのタスクの信頼性とレイテンシを評価し、同じパイプラインで代替のLLM/VLM構成を比較する。 コードと完全なドキュメントは [github.com/cogrob-tuni/franka-llm] (https://github.com/cogrob-tuni/franka-llm] で公開されている。

関連論文リスト

• A ROS 2 Wrapper for Florence-2: Multi-Mode Local Vision-Language Inference for Robotic Systems [0.0]
  本稿では、3つの相補的な相互作用モードを通してモデルを公開するFlorence-2用のROS 2ラッパーについて述べる。 ラッパーはローカル実行用に設計されており、ネイティブインストールとDockerコンテナのデプロイの両方をサポートする。
  論文  参考訳（メタデータ） (2026-04-01T17:29:59Z)
• Agentic AI for Robot Control: Flexible but still Fragile [32.43712661386947]
  本稿では,推論可能な言語モデルを計画し,タスクを実行するエージェント制御システムを提案する。 i)屋内移動操作におけるテーブルトップ把握,配置,ボックス挿入(Mobipick)と,(ii)自律型農業ナビゲーション・センシング(Valdemar)の2つの設定でシステムを展開する。
  論文  参考訳（メタデータ） (2026-02-13T16:43:34Z)
• VULCAN: Tool-Augmented Multi Agents for Iterative 3D Object Arrangement [66.13644883379087]
  MLLMを用いた3次元オブジェクト配置における3つの課題に対処する。 まず、MLLMの弱い視覚的基盤に対処するために、MPPベースのAPIを導入する。 第2に、MLLMの3Dシーン理解を、特殊な視覚ツール群で強化する。 第3に,反復的かつエラーを起こしやすい更新を管理するために,協調的なマルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T19:22:39Z)
• ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning [74.58666091522198]
  非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
  論文  参考訳（メタデータ） (2024-06-28T08:28:38Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。