論文の概要: TaskFrame: Connecting Task-Level Planning with Frame-Level Control for Game Agents

• arxiv url: http://arxiv.org/abs/2610.40276v1
• Date: Thu, 29 Oct 2026 15:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.105727
• Title: TaskFrame: Connecting Task-Level Planning with Frame-Level Control for Game Agents
• Title（参考訳）: タスクフレーム:ゲームエージェントのためのタスクレベルプランニングとフレームレベル制御
• Abstract要約: 一般的なゲームエージェントの構築には、ハイレベルなタスク推論と低レイテンシなアクション制御の両方が必要である。 タスクレベルの計画とフレームレベルのキーボード・アンド・ムース制御を結合する階層的なプランナー・コントローラフレームワークであるTaskFrameを提案する。 Minecraftの実験では、TaskFrameは命令分解の汎用的なビジョン言語モデルと競合している。
• 参考スコア（独自算出の注目度）: 66.48934171776204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building general game agents requires both high-level task reasoning and low-latency action control in rapidly changing visual environments. These capabilities favor models with substantially different computational profiles, making them difficult to realize within a single model. In this work, we present TaskFrame, a hierarchical planner-controller framework that connects task-level planning with frame-level keyboard-and-mouse control. A vision-language task planner decomposes a high-level goal into an ordered sequence of atomic instructions and is optimized through supervised learning and dependency-aware GRPO. The hidden states of special goal tokens that terminate each atomic instruction provide continuous goal embeddings that are cached and reused across control steps. A causal Transformer controller combines the embedding of the active goal with recent observations to predict discrete keyboard and mouse-button actions and continuous camera motion at every game step. We train the system in three stages: planner training, controller pretraining, and joint alignment. Experiments in Minecraft show that TaskFrame is competitive with general-purpose vision-language models on instruction decomposition, and that in closed-loop evaluation the agent achieves a higher combat success rate than the evaluated baselines.
• Abstract（参考訳）: 一般的なゲームエージェントの構築には、急速に変化する視覚環境において、ハイレベルなタスク推論と低レイテンシなアクション制御の両方が必要である。 これらの機能は、かなり異なる計算プロファイルを持つモデルを好むため、単一のモデル内では実現が困難である。 本研究では,タスクレベルの計画とフレームレベルのキーボード・アンド・ムース制御を結合する階層型プランナ・コントローラフレームワークであるTaskFrameを提案する。 視覚言語タスクプランナは、高レベルの目標を順序付けられた原子命令列に分解し、教師付き学習と依存性対応GRPOによって最適化する。 それぞれのアトミック命令を終了する特別なゴールトークンの隠された状態は、制御ステップ間でキャッシュされ再利用される継続的なゴール埋め込みを提供する。 因果トランスフォーマーコントローラは、アクティブゴールの埋め込みと最近の観測とを組み合わせて、各ゲームステップにおける離散キーボードとマウスボタンアクションと連続カメラモーションを予測する。 システムのトレーニングには,プランナートレーニング,コントローラ事前トレーニング,関節アライメントという3つの段階がある。 Minecraftの実験では、TaskFrameは命令分解における汎用視覚言語モデルと競合し、クローズドループ評価では、評価ベースラインよりも高い戦闘成功率を達成することが示された。

関連論文リスト

• StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation [10.530444098094323]
  StageGuardは、正確かつ効率的な段階遷移決定のためのエージェント蒸留フレームワークである。 軽量な学生VLMはこれらの説明を用いて、教師付き微調整に使用されるコンパクトな自己説明を生成する。 その結果、効率的なオンラインモニタリングをサポートしながら、ステージ遷移予測を大幅に改善した。
  論文  参考訳（メタデータ） (2026-09-17T17:53:48Z)
• Decoupling Planning and Control for Instructable Agents [26.83206052047358]
  スパース,ハイランゲージ,ハイレベルテキスト命令を条件とした場合,世界モデルコントローラを高速で自律的に動作させるよう訓練する。 提案手法は,3つのマルチエージェント環境を含む7つの環境にまたがって評価する。 我々のアプローチは、コントローラのみおよび直接VLMアクション生成の亜種を一貫して上回り、高速な制御を保ち、微調整なしで異なる事前訓練されたVLMプランナーを交換できる。
  論文  参考訳（メタデータ） (2026-08-27T08:17:58Z)
• GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation [54.305781492241785]
  本稿では,トレーニング分布を超えて一般化したビジュモータ操作ポリシーを学習するための枠組みを提案する。 GHOSTは、(i)多視点RGB-D観測から、3Dエンドエフェクタ上の分布として次のサブゴールを予測する高レベルポリシーに制御を分解する。 一連のタスクの中で、この階層的な分解は、フラットな拡散ポリシーと比較して、パフォーマンスと堅牢性を一貫して改善します。
  論文  参考訳（メタデータ） (2026-06-08T18:08:01Z)
• AsgardBench -- Evaluating Visually Grounded Interactive Planning Under Minimal Feedback [28.254110943200683]
  AsgardBenchは、視覚的に基礎があり、ハイレベルなアクションシーケンス生成と対話的な計画を評価することを目指している。 評価の結果,視覚的入力を使わずに性能が急激に低下し,視覚的接地や状態追跡の弱点が明らかとなった。 私たちのベンチマークでは,より限定的な疑問に言及しています – 期待通りに進まなければ,実際に計画に適応するために,モデルが見ているものを使用することは可能ですか?
  論文  参考訳（メタデータ） (2026-03-16T20:31:43Z)
• Scene-agnostic Hierarchical Bimanual Task Planning via Visual Affordance Reasoning [5.296623863894165]
  オープン環境で動作しているエージェントは、ハイレベルな命令を基底的で実行可能な動作に変換する必要がある。 本稿では,高次推論を3次元2次元実行でブリッジする,シーン非依存の双方向タスク計画のための統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-10T04:37:07Z)
• RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation [59.9896841079005]
  長距離ロボット操作における高レベル推論評価のためのベンチマークであるRoboCerebraを紹介する。 データセットはトップダウンパイプラインを通じて構築され、GPTはタスク命令を生成し、それらをサブタスクシーケンスに分解する。 以前のベンチマークと比較すると、RoboCerebraはアクションシーケンスが大幅に長く、アノテーションがより密度が高い。
  論文  参考訳（メタデータ） (2025-06-07T06:15:49Z)
• Background-Click Supervision for Temporal Action Localization [82.4203995101082]
  時間的行動ローカライゼーションの弱さは、ビデオレベルのラベルからインスタンスレベルのアクションパターンを学習することを目的としており、アクションコンテキストの混乱が大きな課題である。 最近の作業の1つは、アクションクリックの監視フレームワークを構築している。 同様のアノテーションのコストを必要とするが、従来の弱い教師付き手法と比較して、着実にローカライズ性能を向上させることができる。 本稿では,既存の手法の性能ボトルネックが背景誤差に起因していることを明らかにすることにより,より強力なアクションローカライザを,アクションフレームではなく,バックグラウンドビデオフレーム上のラベルでトレーニングできることを見出した。
  論文  参考訳（メタデータ） (2021-11-24T12:02:52Z)
• Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill Primitives [89.34229413345541]
  本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。 本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。 代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
  論文  参考訳（メタデータ） (2020-03-19T15:04:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。