論文の概要: HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

• arxiv url: http://arxiv.org/abs/2610.31162v1
• Date: Thu, 22 Oct 2026 12:17:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.37049
• Title: HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games
• Title（参考訳）: HiSTEVE 1.0: オープンワールドゲームのためのヒューマンインタフェースVLAエージェントのハーネス
• Abstract要約: 人間のプレーヤーのようなオープンエンドのゲームで動く仮想エンボディエージェントを構築することは、長期的なゴールであり、長期的な自律性と信頼性の高いネイティブインターフェース制御の両方を必要とする。 機能認識エージェントハーネスを備えた階層型VLAエージェントであるHiSTEVEを提案する。 HiSTEVEは最先端の原子タスクのパフォーマンスを達成し、MineStudio Benchで85.0%、OpenHAで37.4%の成功率を記録した。
• 参考スコア（独自算出の注目度）: 28.58535147882151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building virtual embodied agents that operate in open-ended games like human players is a long-standing goal requiring both long-horizon autonomy and reliable native-interface control. As a procedurally generated open world, Minecraft provides a natural testbed for studying the integration of these capabilities. Existing agents typically provide either native visuomotor control without long-horizon autonomy or high-level planning executed through environment APIs or predefined skills. To bridge this gap, we propose HiSTEVE, a hierarchical VLA agent with a capability-aware agent harness. At the orchestration level, we equip the harness with structured memory for tracking progress and a VLM planner for selecting subtasks within the VLA's capabilities. To reliably determine subtask completion, we further introduce a policy-coupled task completion state detector that conditions on VLA policy context to signal candidate completion. At the control level, a single VLA executes all subtasks with vision-only perception and native keyboard-and-mouse actions. To mitigate interference between heterogeneous GUI and non-GUI interactions, we introduce regime-specific RMSNorm branches and separate mouse-movement token embeddings. We also train the VLA through world knowledge injection, imitation learning, and reinforcement learning with environment feedback to improve reliability and recovery. HiSTEVE achieves state-of-the-art atomic-task performance, scoring 85.0% on MineStudio Bench and a 37.4% average success rate on OpenHA, while also completing long-horizon tasks such as crafting an iron pickaxe from scratch like human players.
• Abstract（参考訳）: 人間のプレーヤーのようなオープンエンドのゲームで動く仮想エンボディエージェントを構築することは、長期的なゴールであり、長期的な自律性と信頼性の高いネイティブインターフェース制御の両方を必要とする。 手続き的に生成されたオープンワールドとして、Minecraftはこれらの機能の統合を研究するための自然なテストベッドを提供する。 既存のエージェントは、通常、長期の自律性や環境APIや事前に定義されたスキルを通じて実行されるハイレベルな計画なしで、ネイティブなビズモータコントロールを提供する。 このギャップを埋めるために,機能認識エージェントハーネスを備えた階層型VLAエージェントであるHiSTEVEを提案する。 オーケストレーションレベルでは、進捗を追跡するための構造化メモリと、VLAの機能内でサブタスクを選択するためのVLMプランナを備える。 サブタスク完了を確実に判定するために、VLAポリシーの条件を信号候補完了に適用するポリシ結合タスク完了状態検出器を導入する。 コントロールレベルでは、単一のVLAが視覚のみの認識とネイティブキーボード・アンド・マウスアクションを備えたすべてのサブタスクを実行する。 ヘテロジニアスGUIと非GUIインタラクションの干渉を軽減するため,レシスタンス固有のRMSNormブランチとマウス・ムーブメントトークンの個別埋め込みを導入する。 また、世界知識注入、模倣学習、環境フィードバックによる強化学習を通じてVLAを訓練し、信頼性と回復性を向上させる。 HiSTEVEは最先端のアトミックタスクのパフォーマンスを達成し、MineStudio Benchでは85.0%、OpenHAでは37.4%、また、人間の選手のようにスクラッチから鉄のピカックスを作るといった長時間の作業も完了した。

関連論文リスト

• From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation [90.66992093913662]
  長距離タスクはマルコフに依存しない。 低レベルの実行から高レベルの計画を切り離す階層アーキテクチャを導入します。 本稿では,SERA(Self-Evolving Robotic Agent)として,VLAエグゼキュータを固定した手法を提案する。
  論文  参考訳（メタデータ） (2026-10-21T10:49:49Z)
• EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
  視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。 本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。 共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
  論文  参考訳（メタデータ） (2026-09-01T14:14:47Z)
• Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation [40.0334846364089]
  VLA(Vision-Language-Action)モデルは、マルコフの自然が現在の観測にのみ依存するため、長い水平課題に苦しむ。 我々は,高レベルなVLMから低レベルなVLAへ,実行可能かつトラクタブルなサブタスクプランを伝達するフレームワークであるCortexを紹介する。 これにより、4k時間以上のオープンソースビデオデータの自動アノテーションと30時間のシミュレーションデータを生成することができる。
  論文  参考訳（メタデータ） (2026-07-06T17:55:05Z)
• InSight: Self-Guided Skill Acquisition via Steerable VLAs [17.61581994598]
  視覚言語アクション(VLA)モデルは、デモンストレーションから操作スキルを学ぶことができるが、その能力はトレーニングデータのスキルによって制限される。 本稿では,VLAをプリミティブアクションレベルで操作可能にすることで,自律的なスキル獲得を実現するフレームワークであるInSightを紹介する。 InSightは、ブロックフリップ、引き出しのクローズ、掃除、ねじれ、注水など、シミュレーションおよび実世界の操作タスクにまたがって評価する。
  論文  参考訳（メタデータ） (2026-06-23T17:59:01Z)
• VoLo: A Physical Orchestrator for Open-Vocabulary Long-Horizon Manipulation [32.23131310342716]
  オープンボキャブラリのロングホライゾン操作では、ロボットが柔軟な指示や複雑な多目的シーンを推論する必要がある。 本稿では,VLMが異種ロボット機能を中断可能なツールとしてオーケストレーションするクローズドエージェントループを用いて,これらの要求に対処する。 本稿では,VLA/WAMを中間ロールアウト時の中断可能なツールとして扱うことで,VLMの計画,監視,回復を行うVoLoAgentを提案する。
  論文  参考訳（メタデータ） (2026-06-05T16:21:27Z)
• AtomicVLA: Unlocking the Potential of Atomic Skill Learning in Robots [92.18094199070693]
  現実世界のロボットタスクは、長い水平、多段階の問題解決を伴い、継続的なスキル獲得のために一般化を必要とすることが多い。 我々は、タスクレベルの計画、アトミックスキルの抽象化、きめ細かいアクションを共同で生成する統合計画実行フレームワークAtomicVLAを提案する。 シミュレーションでは、AtomicVLAはLIBEROで$_0$2.4%、LIBERO-LONGで10%、CALVINで$_0$と$_0.5$0.22、平均タスク長0.25よりパフォーマンスが良い。
  論文  参考訳（メタデータ） (2026-03-08T14:18:56Z)
• LiLo-VLA: Compositional Long-Horizon Manipulation via Linked Object-Centric Policies [54.150202739999806]
  LiLo-VLAは、新しいロングホライゾンタスクに対してゼロショットのモジュラリティをトレーニングすることなく実現できるモジュラーフレームワークである。 LIBERO-Long++とUltra-Longという2つの課題からなる21タスクのシミュレーションベンチマークを導入する。 これらのシミュレーションでは、LiLo-VLAは平均成功率69%を達成し、Pi0.5を41%、OpenVLA-OFTを67%上回った。
  論文  参考訳（メタデータ） (2026-02-25T03:33:39Z)
• ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [62.58034332427291]
  ForceVLAは、新しいエンドツーエンド操作フレームワークである。 外部力センシングは、VLAシステム内の第一級のモダリティとして扱う。
  論文  参考訳（メタデータ） (2025-05-28T09:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。