論文の概要: HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents
- arxiv url: http://arxiv.org/abs/2610.23479v2
- Date: Tue, 20 Oct 2026 15:47:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.226511
- Title: HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents
- Title（参考訳）: HexaShell:ロボットコーディングエージェントとしてのVLMエージェントの限界を探るための薄いハーネス
- Abstract要約: プログラミングエージェントが1つのコマンドラインでロボットを制御する方法を示す。
ロボットでは、エージェントが出力を読み、コードを書き、テストを実行する。
CodexとGPT-6-Astraを使って、タスク毎に1つのシードの10のレイアウト上にツールを構築します。
- 参考スコア（独自算出の注目度）: 12.411646434435525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agents built on vision language models (VLMs) now compete with learned policies on robot manipulation leaderboards. We ask how far a coding agent can go when it controls a robot instead of a computer, and where it stops. Our system, HexaShell, gives the agent a thin harness: one command line that turns its commands into robot motion and makes no decisions of its own. On the robot, the agent keeps doing what it does best: it reads output, writes code and runs tests. Two agents of the same model share the work. An acting agent runs each episode. After a failure, an optimizer agent reads the full record of the episode, with every command, image and message, finds the cause, and writes or fixes small programs called tools, each with its own tests. What the agents learn stays as code, and no demonstrations or training are needed. At run time, the tools use only what a real robot also has: RGB images, camera calibration and the state of the arms. They find objects by triangulation between camera views. Because these inputs are the same in simulation and on hardware, the tools move to a real robot with a different arm after only a small change for the arm. We build the tools on ten layouts of one seed per task with Codex and GPT-6-Astra and freeze them; the eight Open tasks share one set of tools. In RoboDojo's official evaluation on a hidden seed, 50 episodes for each of the 42 tasks, HexaShell reaches 46.9% success and a progress score of 53.2, the state of the art on the official RoboDojo leaderboard. The limit is contact, not reasoning: memory tasks reach 81.0%, but precision tasks only 32.0%. We open source the tools evolved so far at https://github.com/HexaFuture/HexaShell.
- Abstract（参考訳）: 視覚言語モデル(VLM)上に構築されたエージェントは、ロボット操作のリーダーボードに関する学習ポリシーと競合する。
コンピュータの代わりにロボットを制御した場合、コーディングエージェントがどこまで進むことができるのか、どこで止まるのかを尋ねる。
私たちのシステムであるHexaShellは、エージェントに薄いハーネスを与えています。
ロボット上では、エージェントは最善を尽くし続け、アウトプットを読み、コードを書き、テストを実行する。
同じモデルの2人のエージェントが仕事を共有します。
エージェントが各エピソードを実行します。
障害が発生した後、オプティマイザエージェントがエピソードの全記録を読み、すべてのコマンド、イメージ、メッセージが原因を見つけ、それぞれ独自のテストでツールと呼ばれる小さなプログラムを記述または修正する。
エージェントが学んだことはコードとして残り、デモやトレーニングは必要ない。
RGB画像、カメラのキャリブレーション、腕の状態など、本物のロボットが持っているものだけを使用する。
カメラビュー間の三角測量によってオブジェクトを見つける。
これらの入力はシミュレーションでもハードウェアでも同じなので、このツールは腕を少しだけ変えた後に、別の腕を持つ本物のロボットに移動する。
CodexとGPT-6-Astraを使ってタスク毎の1つのシードの10のレイアウト上にツールを構築し、それらを凍結します。
RoboDojoの公式評価では、42のタスクごとに50回、HexaShellは46.9%、進捗スコアは53.2、RoboDojoの公式リーダーボードの最先端である。
メモリタスクは81.0%に達するが、精度タスクは32.0%に過ぎない。
ツールのオープンソースはhttps://github.com/HexaFuture/HexaShell.comで公開しています。
関連論文リスト
- SEAR: Self-Evolving Agentic Robotics [23.247349010987023]
SEAR(Self-Evolving Agentic Robotics)は,2つの質問に基づいて構築されたフレームワークとベンチマークである。
エージェントは本当に学習しているのか、それとも、もっと頻繁に試すのか?そして、新しいタスク、新しいシミュレーター、そして本物のロボットで、その学習が役立つのか?
フレームワークはエージェントを3つのモードで実行する: ポリシー(コード・アズ・ポリティクス)となるコードを書き、コントロールループ(エージェント・アズ・ポリティシー)に生きるか、あるいは視覚言語アクションモデル(自動検索)を微調整する研究者として働く。
論文 参考訳（メタデータ） (2026-10-13T17:40:20Z) - Can a Frontier VLM Serve as a Robot Policy for Memory-Dependent Manipulation? [4.625296998318167]
我々は,RoboMMEのロボットポリシーとして,凍結フロンティア視覚言語モデル GPT-6-Astra を直接使用した。
800回のテストでは92.1%で成功し、前回の報告では90.5%だった。
結果は、長期計画、メモリ、エンドエフェクタコントロールの通常の分割を曖昧にします。
論文 参考訳（メタデータ） (2026-10-12T20:00:10Z) - VioLA: Learning Generalist Humanoid Control Policies from Human Data [91.11609447813039]
VioLAは人体と手の動きを予測するヒューマノイドのポリシーである。
タスク固有の微調整なしで、実際のロボットのゼロショットの移動指示に従う。
論文 参考訳（メタデータ） (2026-10-08T17:57:27Z) - EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras [74.35470013990918]
EyeRobot 2.0は、現場の3D固定点に物理的に近づき、2つの視点で視線を照らす。
我々はEyeRobot 2.0と受動ステレオとego+手首カメラのポリシーを比較した。
論文 参考訳（メタデータ） (2026-10-02T17:57:51Z) - CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation [2.1645011609137295]
3Dビューは、ロボットがどこにいるかをテレオペレーターに伝えるが、シーンには含まれていない。
CognitiveRealityは、ロボットのRGB-Dストリームをオペレーターによる生きたセマンティックインデックス付きTSマップに変える。
論文 参考訳（メタデータ） (2026-09-25T15:39:28Z) - What Stops Recursive Self-Improvement in Robotics? Lessons from 123 Rounds of Agentic Skill Discovery [3.298519306406288]
ロボットが失敗し、どの能力が欠落しているかを判断するエージェントシステムを構築しました。
家庭用操作タスクで123回の改善ラウンドで実施しました。
良いニュースは、エージェントが自分で能力を発見することができることだ。
悪いニュースは、改善が足りなかったことだ。
論文 参考訳（メタデータ） (2026-09-23T13:28:38Z) - ETA: A New Agentic Paradigm for Embodied Tasks [76.25893120982523]
本稿では,デジタルエージェントを物理世界へ拡張するための新しいパラダイムであるEmbodied Task Agent(ETA)を紹介する。
ETAは、一度に1つのツールコールを選択するPlanner、実行を制御するInterface、結果と新鮮な観察を返送するWorldを中心にロボットを集中させる。
ETAは、置換可能なPlanner、構成可能なツールとスキル、監査可能なメモリ、再生可能なトラジェクトリ、シミュレーションと実際のロボットのための一般的なインターフェースを提供する。
論文 参考訳（メタデータ） (2026-08-04T16:56:09Z) - StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。
そのメインエージェントは、コードを使用してプログラム状態と直接連携する。
専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
論文 参考訳（メタデータ） (2026-07-24T14:17:03Z) - VIA: Visual Interface Agent for Robot Control [34.69686658431114]
VIA(Visual Interface Agent for Robot Control)は、ロボット制御をエージェントタスクとして再キャストするフレームワークである。
スクリーンショットを撮り、直感的なコマンドを出し、結果を観察し、調整することで、ブラウザベースの3Dインターフェースを介してマニピュレータを駆動する。
3つのLIBEROゴールタスクで96.7%、ロングホライゾン虹組立タスクで100%を達成している。
論文 参考訳（メタデータ） (2026-07-13T05:52:12Z) - H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。
私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。
テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
論文 参考訳（メタデータ） (2025-12-10T07:59:45Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。