論文の概要: Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams
- arxiv url: http://arxiv.org/abs/2609.28429v1
- Date: Wed, 23 Sep 2026 17:29:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.133194
- Title: Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams
- Title（参考訳）: コンカレント・エンボディード・ストリームで常にロボットを起動させる「Recall, Act」
- Abstract要約: オープンエンドの世界では、ロボットは遠未来的なキューのライブストリームを見て、自分自身の遠未来的なアクションを思い出し、両腕で行動しなければならない。
3つの軽量モジュールによって強化された1つの事前訓練された0.5ドルのバックボーンは、ライブの知覚、エンボディされた状態、そしてロボット自身の過去のアクションを、動作前にバックボーンが読み取るコンテキストに変換する。
- 参考スコア（独自算出の注目度）: 25.69904729176874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An always-on robot faces an endless stream that never resets: instructions arrive and lapse, the scene changes, and its own past actions reshape what it must reason about. Today's action models are built for the opposite: a fixed instruction, no mid-task intervention, single-step reasoning. In an open-ended world a robot must watch a live stream for far-future cues, recall its own far-past actions, and act on them under dual-arm concurrency. We present ARMS (Always-on Robot in Multi-modal Streams), a deliberately simple streaming policy: a single pretrained $π$0.5 backbone augmented by three lightweight modules that turn live perception, embodied states, and the robot's own past actions into context the backbone reads before it acts. The modules update this context asynchronously, so watching and recalling never block acting and the two arms act at once. Rather than inventing new mechanisms, ARMS integrates these learned context providers with an agent-causal self-history that logs which arm did what, and when. To supervise them without extra annotation, we build ARMS Dataset, whose staged construction script itself labels every module from real dual-arm teleoperation. Trained on it, ARMS reaches 45% on the combined task against 28% for the strongest of our four main baselines, and ablations confirm the memory module, the embodied-state head, and asynchronous concurrency are each necessary.
- Abstract（参考訳）: 常にオンになっているロボットは、決してリセットされない無限の流れに直面している。指示が届き、経過し、シーンが変わる。
今日のアクションモデルは、固定命令、ミッドタスクの介入なし、シングルステップ推論など、反対のために構築されている。
オープンエンドの世界では、ロボットは遠未来的なキューのライブストリームを見て、自身の遠未来的なアクションを思い出し、デュアルアームの並行処理の下でそれらを実行しなければならない。
私たちはARMS(Always-on Robot in Multi-modal Streams)という,意図的な単純なストリーミングポリシを紹介します。3つの軽量モジュールで事前トレーニングされた1つのπ$0.5のバックボーン。
モジュールはこのコンテキストを非同期に更新するため、動作をブロックしたりリコールしたりすることなく、2つのアームが同時に動作します。
新しいメカニズムを発明するのではなく、ARMSはこれらの学習コンテキストプロバイダをエージェント因果自伝と統合し、どのアームが何を、いつ、何をしたかをログする。
追加のアノテーションなしでそれらを監視するために、ARMS Datasetを構築します。
トレーニングによって、ARMSは4つの主要なベースラインの中で最強の28%に対して、組み合わせたタスクで45%に達します。
関連論文リスト
- MIRA: Real-Time Full-Duplex Human-Robot Interaction for Embodied Companions [27.12492233362043]
リアルタイムエンボディード・コンパニオン・インタラクションでは、ストリーミング音声からのユーザ意図をロボットがタイムリーな応答を生成する必要がある。
リアルタイム・フルタイム・エンボディ・アソシエイト・インタラクションのための統合フレームワークを提案する。
MIRAはAstribot S1のヒューマノイドロボット評価にデプロイされる。
論文 参考訳（メタデータ） (2026-09-21T13:14:53Z) - StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳（メタデータ） (2026-08-26T17:33:19Z) - MA-VLA: Multi-Arm Vision-Language-Action Model for Collaboration and Compositional Generalization [67.1660214178234]
マルチアームコラボレーションは、身体操作のコア機能になりつつある。
原子間相互作用によるマルチアーム協調のための統合フレームワークMA-VLAを提案する。
Arm Shuffleは、固定された実行ロールへの依存を減らす。
論文 参考訳（メタデータ） (2026-08-26T14:38:04Z) - Tri-Manual Visuomotor Imitation Learning of Robot Policies [4.261928070384793]
双方向遠隔操作は、ロボットのデモンストレーションを効果的に収集する方法を提供する。
演算子とロボットは同時制御チャネルの数に一致すると仮定する。
本稿では,TriManPolicyについて述べる。TriManPolicyは3本の腕で動作を実演できる3次元模倣学習システムである。
論文 参考訳（メタデータ） (2026-07-28T13:52:51Z) - LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music [1.7188280334580195]
本稿では,マルチモーダルな人間入力の豊富なタペストリーから複雑なロボット動作を合成する新しいフレームワークを提案する。
システムアーキテクチャは,音声の書き起こしモデル,ジェスチャー認識モジュール,ビート検出のための信号処理パイプラインを統合している。
このフレームワークは、音声からのセマンティックコマンド、ジェスチャーからのディスティック情報、音楽からのリズミカルキューを解釈し、融合する機能を備えている。
論文 参考訳（メタデータ） (2026-06-30T05:35:26Z) - LUCID: Learning Embodiment-Agnostic Intent Models from Unstructured Human Videos for Scalable Dexterous Robot Skill Acquisition [11.86733592383987]
LUCIDは、構造化されていない人間のビデオからタスク意図を学ぶフレームワークである。
大規模な並列シミュレーションでロボットの制御を学習する。
実世界の5つの操作課題におけるLUCIDの評価を行った。
論文 参考訳（メタデータ） (2026-06-10T03:49:01Z) - ViPRA: Video Prediction for Robot Actions [33.310474967770894]
我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。
アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。
下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
論文 参考訳（メタデータ） (2025-11-11T01:33:03Z) - RoboOmni: Proactive Robot Manipulation in Omni-modal Context [165.09049429566238]
我々は,音声対話や環境音,視覚的手がかりから意図を導出する,クロスモーダルな文脈指示を導入する。
目的認識,インタラクション確認,アクション実行を統一する,エンドツーエンドのOmni-Modal LLMに基づくフレームワークであるRoboOmniを提案する。
シミュレーションと実世界の設定の実験では、Robo OmniはテキストベースとASRベースのベースラインを越え、成功率、推論速度、意図認識、積極的に支援している。
論文 参考訳（メタデータ） (2025-10-27T18:49:03Z) - Learning Multi-Arm Manipulation Through Collaborative Teleoperation [63.35924708783826]
模倣学習(il)はロボットに操作タスクを実行するための強力なパラダイムである。
多くの現実世界のタスクは、重い物体を持ち上げる、デスクを組み立てるなど、複数のアームを必要とする。
複数のリモートユーザが同時にロボットアームを遠隔操作できるマルチユーザデータ収集プラットフォームであるMulti-Arm RoboTurk(MART)を紹介した。
論文 参考訳（メタデータ） (2020-12-12T05:43:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。