論文の概要: Auto-HSI: Personalized human control of a robot swarm on demand by using LLMs for online automatic code generation
- arxiv url: http://arxiv.org/abs/2609.16346v1
- Date: Mon, 14 Sep 2026 21:09:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.241724
- Title: Auto-HSI: Personalized human control of a robot swarm on demand by using LLMs for online automatic code generation
- Title（参考訳）: オートHSI:オンライン自動コード生成にLLMを用いてロボット群を需要に応じてパーソナライズした人体制御
- Abstract要約: 本稿では,HSIインタフェースを需要に応じて生成するAuto-HSIを提案する。
開発したAuto-HSIプロトタイプでは、生成したコードは片手ジェスチャーと片手ジェスチャーを用いて集中制御のためのパーソナライズされたインターフェースを生成する。
また、動作中にパーソナライズされたAuto-HSIインターフェースをライブ更新する実際の人間オペレータを実演する(シミュレーション)。
- 参考スコア（独自算出の注目度）: 32.505127447635864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents Auto-HSI, a method for generating personalized human-swarm interaction (HSI) interfaces on demand. The objective is to enable untrained operators to use natural language descriptions and gesture demonstrations to explain how they want the robots to collectively behave in response to their gestures. Based on these inputs, the code should automatically be generated for personalized state machines that will control the robots as desired, in response to the desired gesture inputs. In the developed Auto-HSI prototype, the generated code produces a personalized interface for centralized control using one- and two-handed gestures, enabling a user to teleoperate the robots' motion, formation shape, and shape deformation. We test the gesture tracking and code generation components of Auto-HSI against performance benchmarks. We then test the full Auto-HSI prototype in ``live'' operation experiments, in which real human operators centrally control 50 simulated robots in a physics-based simulator, under nominal and noisy conditions. In these experiments, robots are teleoperated to: score a goal, traverse a maze that requires shape deformation, and score two simultaneous goals by splitting into two groups. We also demonstrate a real human operator making live updates to their personalized Auto-HSI interface during operation (in simulation). Finally, we demonstrate live operation of real robots.
- Abstract（参考訳）: 本稿では,HSIインタフェースを需要に応じて生成するAuto-HSIを提案する。
目的は、訓練を受けていないオペレータが自然言語の説明やジェスチャーのデモを利用できるようにすることで、ロボットがジェスチャーに反応して集団でどのように振る舞うかを説明することである。
これらの入力に基づいて、必要なジェスチャー入力に応じて、ロボットを必要に応じて制御するパーソナライズされた状態マシンのために、コードが自動的に生成されるべきである。
開発したAuto-HSIプロトタイプでは,片手ジェスチャーと片手ジェスチャーによる集中制御のためのパーソナライズされたインタフェースを作成し,ロボットの動き,形状,形状の変形を遠隔操作する。
性能ベンチマークに対してAuto-HSIのジェスチャトラッキングとコード生成コンポーネントをテストする。
実験では、実人のオペレーターが、名目と雑音の条件下で、物理学に基づくシミュレーターで50個の模擬ロボットを中央制御する。
これらの実験では、ロボットは遠隔操作され、ゴールを決め、形状の変形を必要とする迷路を横切り、2つのグループに分割して2つの同時ゴールを達成する。
また,動作中(シミュレーション中)にパーソナライズされたAuto-HSIインタフェースのライブアップデートを行う実人オペレータを実演する。
最後に,実ロボットのライブ動作を実演する。
関連論文リスト
- Robotic Grasping and Placement Controlled by EEG-Based Hybrid Visual and Motor Imagery [64.82869118243723]
本稿では,脳波に基づく視覚・運動画像(VI/MI)とロボット制御を統合し,リアルタイム・意図駆動型把握・配置を実現するフレームワークを提案する。
このシステムは、BCI駆動のロボット工学の約束に感銘を受けて、オフラインで事前訓練されたデコーダをゼロショットで展開することによって、ニューラルネットワークを物理的制御でブリッジする。
論文 参考訳（メタデータ） (2026-03-03T17:41:42Z) - FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions [147.04372611893032]
FRoM-W1は、自然言語を用いた一般的なヒューマノイド全体の動作制御を実現するために設計されたオープンソースのフレームワークである。
我々はUnitree H1とG1ロボット上でFRoM-W1を広範囲に評価した。
その結果,HumanML3D-Xベンチマークにおいて,人体全体の動作生成に優れた性能を示した。
論文 参考訳（メタデータ） (2026-01-19T07:59:32Z) - Evaluation of Impression Difference of a Domestic Mobile Manipulator with Autonomous and/or Remote Control in Fetch-and-Carry Tasks [0.5833117322405447]
単一のサービスロボットは、その自律性とオペレーターを介するエージェンシーという、2つの異なるエージェンシーを提示することができる。
我々は、この二重緊急構造を、自律的な遠隔操作環境において、ユーザ・ロボット・オペレータ・トライアドとして定式化する。
論文 参考訳（メタデータ） (2025-12-30T07:00:30Z) - Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots [5.531678625546847]
本稿では,意味論的に意味のある共同音声ジェスチャーを合成し,人間型ロボット上でリアルタイムに展開する,革新的なエンドツーエンドフレームワークを提案する。
私たちの中核的なイノベーションは、セマンティックスを意識したジェスチャー合成モジュールの巧妙な統合にあります。
本システムでは, セマンティックに適切かつリズミカルにコヒーレントなジェスチャーを生成する。
論文 参考訳（メタデータ） (2025-12-19T02:55:10Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳（メタデータ） (2025-12-17T12:59:41Z) - RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video [56.9581053843815]
画像とビデオにおけるロボットセグメンテーションの基礎モデルであるRobotSegを紹介する。
ロボットへの適応の欠如、手動のプロンプトへの依存、フレーム単位のトレーニングマスクアノテーションの必要性に対処する。
それは、画像とビデオの両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-11-28T07:51:02Z) - Autonomous Human-Robot Interaction via Operator Imitation [3.650193138379926]
我々は、オペレーターデータを模倣するモデルを訓練することで、自律的な対話型ロボットを作成することを提案する。
我々のモデルは人間とロボットの相互作用のデータセットに基づいて訓練されている。
提案手法は,専門家-オペレーターのベースラインに匹敵する,単純で自律的な人間-ロボットの相互作用を可能にする。
論文 参考訳（メタデータ） (2025-04-03T16:06:44Z) - Force-Based Robotic Imitation Learning: A Two-Phase Approach for Construction Assembly Tasks [2.6092377907704254]
本稿では,ロボット学習を改善するための2段階システムを提案する。
第1フェーズは、ROS-Sharpを介して仮想シミュレータにリンクされたロボットアームを使用して、オペレータからリアルタイムデータをキャプチャする。
第2段階では、このフィードバックは、学習プロセスに力フィードバックを組み込むための生成的アプローチを用いて、ロボットの動き指示に変換される。
論文 参考訳（メタデータ） (2025-01-24T22:01:23Z) - Hierarchical Procedural Framework for Low-latency Robot-Assisted Hand-Object Interaction [45.256762954338704]
ロボット支援ハンドオブジェクトインタラクション(HOI)を実現するための階層型手続きフレームワークを提案する。
オープンループ階層は、手の動きをロボットの動きに変換するように設計されたモーションプリミティブに基づいて、RGBベースの人間の手の3D再構成を利用する。
リングウェアリングタスクのケーススタディは、医療や製造業などの補助技術への本研究の適用の可能性を示している。
論文 参考訳（メタデータ） (2024-05-29T21:20:16Z) - RoboScript: Code Generation for Free-Form Manipulation Tasks across Real
and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。
自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。
我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文 参考訳（メタデータ） (2024-02-22T15:12:00Z) - Robot Learning with Sensorimotor Pre-training [98.7755895548928]
ロボット工学のための自己教師型感覚運動器事前学習手法を提案する。
我々のモデルはRTTと呼ばれ、センサモレータトークンのシーケンスで動作するトランスフォーマーである。
感覚運動の事前学習は、ゼロからトレーニングを一貫して上回り、優れたスケーリング特性を持ち、さまざまなタスク、環境、ロボット間での移動を可能にしている。
論文 参考訳（メタデータ） (2023-06-16T17:58:10Z) - Show me what you want: Inverse reinforcement learning to automatically
design robot swarms by demonstration [0.802904964931021]
本稿では,実演を通して所望の集団行動を特定する可能性について検討する。
ロボット群における逆強化学習と制御ソフトウェアの自動モジュール設計を組み合わせた自動設計手法であるDemo-Choを開発した。
論文 参考訳（メタデータ） (2023-01-17T13:18:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。