論文の概要: HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents

• arxiv url: http://arxiv.org/abs/2610.23479v1
• Date: Fri, 16 Oct 2026 13:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.945331
• Title: HexaShell: A Thin Harness for Exploring the Limits of VLM Agents as Robot Coding Agents
• Title（参考訳）: HexaShell:ロボットコーディングエージェントとしてのVLMエージェントの限界を探るための薄いハーネス
• Abstract要約: プログラミングエージェントがコンピュータを使わずにロボットを制御する方法を示す。 私たちのシステムであるHexaShellは、エージェントのコマンドのみをロボットの動きに変換する。 42のRoboDojoタスクにおいて、HexaShellは39.7%の成功率と48.0の進捗スコアを達成した。
• 参考スコア（独自算出の注目度）: 12.411646434435525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents built on vision language models (VLMs) now compete with learned policies on robot manipulation leaderboards. We ask how far a coding agent can go when it controls a robot instead of a computer, and where it stops. Our system, HexaShell, keeps the harness thin: it only turns the agent's commands into robot motion. The agent drives a robot with two arms through one command line. It sees three RGB cameras and knows their calibration. After each failed attempt, the agent reads the log, finds the cause, and writes or fixes small programs called tools. In this way it keeps what it learns as code, as a coding agent does when it fixes a failing test. The tools may use only what the robot observes. They use triangulation to find where objects are, relative to each other and to the gripper. If two cameras see the same point, the point lies where the two camera rays meet. If a point lies on a known plane, such as the table or the top of a block, it lies where its ray meets that plane. When the head camera is not enough, the robot moves a wrist camera to get a second view. We build the tools on only ten layouts of one seed per task, then freeze them and test them on ten new layouts of the same seed. We use Codex with GPT-6-Astra at medium reasoning effort. On all 42 RoboDojo tasks, HexaShell reaches a success rate of 39.7% and a progress score of 48.0, averaged in the same way as the leaderboard. This is a new state of the art on RoboDojo. The limit is contact, not reasoning: pushing reaches 92.5% and memory tasks 65.0%, but tight insertion only 8.3%. When the agent fails, it usually sees the failure but cannot make the motion work. We open source the tools evolved so far at https://github.com/HexaFuture/HexaShell.
• Abstract（参考訳）: 視覚言語モデル(VLM)上に構築されたエージェントは、ロボット操作のリーダーボードに関する学習ポリシーと競合する。 コンピュータの代わりにロボットを制御した場合、コーディングエージェントがどこまで進むことができるのか、どこで止まるのかを尋ねる。 私たちのシステムであるHexaShellは、ハーネスを薄く保ちます。 エージェントは、2つの腕を持つロボットを1つのコマンドラインで駆動する。 RGBカメラは3台あり、キャリブレーションも知っている。 テストが失敗すると、エージェントはログを読み、原因を見つけ、ツールと呼ばれる小さなプログラムを書き、修正する。 このようにして、コーディングエージェントが失敗したテストを修正するときに行うように、コードとして学んだことを保ちます。 このツールは、ロボットが観察するものだけを使用することができる。 彼らは三角測量を使って、物体が互いに相対的に、そしてグリッパーのどこにあるかを見つける。 2つのカメラが同じ点を見ている場合、ポイントは2つのカメラ線が交わる場所にある。 ある点が、テーブルやブロックの上部のような既知の平面上にある場合、その点がその平面と出会う場所にある。 ヘッドカメラが足りなければ、ロボットは手首カメラを動かして第2のビューを得る。 ツールをタスク毎に1つのシードの10のレイアウトで構築し、それを凍結して、同じシードの10の新しいレイアウトでテストします。 中間推論において, GPT-6-Astra で Codex を使用する。 42のRoboDojoタスクにおいて、HexaShellは39.7%の成功率と48.0の進捗スコアを達成した。 これはRoboDojoの新しい最先端技術である。 圧力は92.5%に達し、メモリタスクは65.0%に制限されているが、挿入は8.3%に留まっている。 エージェントが失敗すると、通常は失敗を見るが、動作はできない。 ツールのオープンソースはhttps://github.com/HexaFuture/HexaShell.comで公開しています。

関連論文リスト

• SEAR: Self-Evolving Agentic Robotics [23.247349010987023]
  SEAR(Self-Evolving Agentic Robotics)は,2つの質問に基づいて構築されたフレームワークとベンチマークである。 エージェントは本当に学習しているのか、それとも、もっと頻繁に試すのか?そして、新しいタスク、新しいシミュレーター、そして本物のロボットで、その学習が役立つのか? フレームワークはエージェントを3つのモードで実行する: ポリシー(コード・アズ・ポリティクス)となるコードを書き、コントロールループ(エージェント・アズ・ポリティシー)に生きるか、あるいは視覚言語アクションモデル(自動検索)を微調整する研究者として働く。
  論文  参考訳（メタデータ） (2026-10-13T17:40:20Z)
• Can a Frontier VLM Serve as a Robot Policy for Memory-Dependent Manipulation? [4.625296998318167]
  我々は,RoboMMEのロボットポリシーとして,凍結フロンティア視覚言語モデル GPT-6-Astra を直接使用した。 800回のテストでは92.1%で成功し、前回の報告では90.5%だった。 結果は、長期計画、メモリ、エンドエフェクタコントロールの通常の分割を曖昧にします。
  論文  参考訳（メタデータ） (2026-10-12T20:00:10Z)
• VioLA: Learning Generalist Humanoid Control Policies from Human Data [91.11609447813039]
  VioLAは人体と手の動きを予測するヒューマノイドのポリシーである。 タスク固有の微調整なしで、実際のロボットのゼロショットの移動指示に従う。
  論文  参考訳（メタデータ） (2026-10-08T17:57:27Z)
• EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras [74.35470013990918]
  EyeRobot 2.0は、現場の3D固定点に物理的に近づき、2つの視点で視線を照らす。 我々はEyeRobot 2.0と受動ステレオとego+手首カメラのポリシーを比較した。
  論文  参考訳（メタデータ） (2026-10-02T17:57:51Z)
• CognitiveReality: Robot-Agnostic Semantic Gaussian Mapping with an LLM Agent for Immersive Collaborative VR Teleoperation [2.1645011609137295]
  3Dビューは、ロボットがどこにいるかをテレオペレーターに伝えるが、シーンには含まれていない。 CognitiveRealityは、ロボットのRGB-Dストリームをオペレーターによる生きたセマンティックインデックス付きTSマップに変える。
  論文  参考訳（メタデータ） (2026-09-25T15:39:28Z)
• What Stops Recursive Self-Improvement in Robotics? Lessons from 123 Rounds of Agentic Skill Discovery [3.298519306406288]
  ロボットが失敗し、どの能力が欠落しているかを判断するエージェントシステムを構築しました。 家庭用操作タスクで123回の改善ラウンドで実施しました。 良いニュースは、エージェントが自分で能力を発見することができることだ。 悪いニュースは、改善が足りなかったことだ。
  論文  参考訳（メタデータ） (2026-09-23T13:28:38Z)
• ETA: A New Agentic Paradigm for Embodied Tasks [76.25893120982523]
  本稿では,デジタルエージェントを物理世界へ拡張するための新しいパラダイムであるEmbodied Task Agent(ETA)を紹介する。 ETAは、一度に1つのツールコールを選択するPlanner、実行を制御するInterface、結果と新鮮な観察を返送するWorldを中心にロボットを集中させる。 ETAは、置換可能なPlanner、構成可能なツールとスキル、監査可能なメモリ、再生可能なトラジェクトリ、シミュレーションと実際のロボットのための一般的なインターフェースを提供する。
  論文  参考訳（メタデータ） (2026-08-04T16:56:09Z)
• StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents [55.650871465979066]
  StateActはコードファーストでマルチエージェントのハーネスであり、この区別に基づいて構築されている。 そのメインエージェントは、コードを使用してプログラム状態と直接連携する。 専用のGUIサブエージェントは、必要ないくつかのサブゴールでスクリーンショットとクリックのインタラクションを処理する。
  論文  参考訳（メタデータ） (2026-07-24T14:17:03Z)
• VIA: Visual Interface Agent for Robot Control [34.69686658431114]
  VIA(Visual Interface Agent for Robot Control)は、ロボット制御をエージェントタスクとして再キャストするフレームワークである。 スクリーンショットを撮り、直感的なコマンドを出し、結果を観察し、調整することで、ブラウザベースの3Dインターフェースを介してマニピュレータを駆動する。 3つのLIBEROゴールタスクで96.7%、ロングホライゾン虹組立タスクで100%を達成している。
  論文  参考訳（メタデータ） (2026-07-13T05:52:12Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。