論文の概要: Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation

• arxiv url: http://arxiv.org/abs/2609.29389v1
• Date: Thu, 24 Sep 2026 11:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.864861
• Title: Robo-Harness K1: Harnessing Robot-Use Agents via Perception Augmentation
• Title（参考訳）: ロボ・ハーネスK1:知覚増強によるロボット用エージェントのハーネス化
• Abstract要約: 本稿では,ロボット利用エージェントフレームワークであるRobo-Harness K1を紹介する。 一致した LIBERO-PRO タスクでは、Gemini 3.7 Flash with K1 が 77.8% に達し、GPT-6 Astra の 61.1% を RGB のみのハーネスで上回った。 RoboTwin では Easy で 32.0%、Hard で 28.0% を達成し、視覚的および環境的な摂動に対するレジリエンスを示している。
• 参考スコア（独自算出の注目度）: 61.15247763568461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation vision-language models (VLMs) understand objects, instructions, and spatial relations, yet translating this capability into robotic manipulation remains difficult. Vision-language-action (VLA) models require extensive demonstrations and may compromise pretrained understanding, while direct RGB-only VLM control is costly and strongly dependent on model capability. We introduce Robo-Harness K1, a robot-use agent (RUA) framework that exposes perception as tools. The agent queries calibrated depth, persistent visual anchors, spatial measurements, and grasp hypotheses, then selects generic motions from the returned evidence. This interface makes 3D geometry accessible without changing the VLM architecture or training a depth encoder. On matched LIBERO-PRO tasks, Gemini 3.7 Flash with K1 reaches 77.8% accuracy, surpassing GPT-6 Astra's 61.1% with an RGB-only harness; K1 further improves Astra to 88.9%. Without target fine-tuning, Gemini with K1 transfers to three RoboSuite arms and dual-arm RoboTwin tasks. On RoboTwin, it achieves 32.0% on Easy and 28.0% on Hard, showing resilience to visual and environmental perturbations. K1 also produces tool-call traces aligned with next-token training. A Qwen3.5-9B student trained on only 107 teacher episodes reaches 44.2% accuracy on new initial states versus 30.2% for OpenVLA, and 13.9% on held-out task conditions versus 0.0% for OpenVLA. These results suggest that perception-augmented RUAs offer a promising route to sample-efficient, generalizable robotic policies that leverage VLM capabilities through an accessible tool interface.
• Abstract（参考訳）: 基礎視覚言語モデル(VLM)は、物体、指示、空間的関係を理解するが、ロボット操作への変換は困難である。 視覚言語アクション(VLA)モデルは広範なデモンストレーションを必要とし、事前訓練された理解を損なう可能性があるが、直接的なRGBのみのVLM制御はコストが高く、モデル能力に強く依存している。 本稿では,ロボット利用エージェント(RUA)フレームワークであるRobo-Harness K1を紹介する。 エージェントは、キャリブレーションされた深さ、永続的な視覚的アンカー、空間的測定、および把握仮説をクエリし、返却された証拠からジェネリックモーションを選択する。 このインタフェースは、VLMアーキテクチャを変更したり深度エンコーダを訓練することなく、3D幾何学をアクセスできるようにする。 一致した LIBERO-PRO タスクでは、Gemini 3.7 Flash with K1 が 77.8% の精度に達し、GPT-6 Astra の 61.1% を RGB のみのハーネスで上回り、K1 はさらに Astra を 88.9% に改善した。 目標の微調整がなければ、K1のジェミニは3つのRoboSuiteアームと2つのRoboTwinタスクに転送される。 RoboTwin では Easy で 32.0%、Hard で 28.0% を達成し、視覚的および環境的な摂動に対するレジリエンスを示している。 K1はまた、次世代のトレーニングに合わせてツールコールトレースを生成する。 Qwen3.5-9Bの学生は107エピソードのみをトレーニングし、新しい初期状態では44.2%、OpenVLAでは30.2%、ホールドアウトタスク条件では13.9%、OpenVLAでは0.0%である。 これらの結果から,知覚増強されたRUAsは,VLM機能を活用したサンプル効率,一般化可能なロボットポリシーを,アクセス可能なツールインターフェースを通じて実現する可能性が示唆された。

関連論文リスト

• Transferring the Intelligence of VLMs to Robotic Control [49.39888205530348]
  人間は物理的世界とデジタル世界の両方にシームレスに適応でき、人間の知性自体がこのギャップを越えて移動する可能性があることを示唆している。 本稿では,ロボット制御をエージェントVLMに公開するヒューマン直感インタフェースであるRoboDawnを用いて,この問題を考察する。 RoboTwin 2.0 C2RとRoboDojoの実験では、RoboDawnはタスク固有のロボットトレーニングなしで高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-09-19T11:34:13Z)
• GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
  本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。 制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。 それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
  論文  参考訳（メタデータ） (2026-09-04T17:16:48Z)
• G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
  本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。 推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。 G0.5は7つの独立した体制で最先端のモデルを上回っている。
  論文  参考訳（メタデータ） (2026-08-12T07:26:47Z)
• GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation [49.16739604572808]
  VLA(Vision-Language-Action)モデルは、強力なベンチマークパフォーマンスを実現するが、目に見えないオブジェクトによる現実世界のデプロイに苦労する。 これは、統合幾何認識の操作表現が欠如していることに起因していると我々は主張する。 一般化可能なロボット操作のための統合幾何認識行動表現を学習するためのVLAフレームワークであるGEAR-VLAを提案する。
  論文  参考訳（メタデータ） (2026-06-07T09:23:16Z)
• Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
  身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。 統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
  論文  参考訳（メタデータ） (2026-05-26T18:52:04Z)
• FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies [26.96931937675281]
  FineVLAは、アクションアライメントされたきめ細かいVLA監視のためのオープンフレームワークである。 オープンソースの10のロボットデータセットから85Kタスクにまたがる992,247のトラジェクトリを統一する。 500本のビデオ、10,816件の原子性事実と1,030件のVQA質問のベンチマークがある。
  論文  参考訳（メタデータ） (2026-05-26T17:01:10Z)
• RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
  空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。 本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。 RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
  論文  参考訳（メタデータ） (2025-06-04T17:59:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。