論文の概要: AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds

• arxiv url: http://arxiv.org/abs/2611.04241v1
• Date: Tue, 03 Nov 2026 03:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-09 22:29:06.67033
• Title: AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
• Title（参考訳）: AceAction-5M:3Dゲーム世界におけるジェネラリスト行動学習のための階層的目標
• Abstract要約: AceActionは、複数の3Dゲームにまたがる人間のゲームプレイのデータセットである。 目的やインタラクション対象の変化からサブゴールを識別し,ナビゲーション目標を視覚的に認識可能なウェイポイントにアンカーし,隣接するサブゴールをタスク命令に構成する,視覚言語モデルパイプラインを開発した。 500トラジェクトリの監査は、独立レビューアアセスメントで95.8%のパスレートを得る。
• 参考スコア（独自算出の注目度）: 9.694878866036026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video games provide a practical setting for collecting vision-language-action (VLA) data, whose acquisition in physical environments is costly. Existing datasets, however, remain limited by restricted game coverage, sparse language supervision, or temporal hierarchies that do not necessarily reflect changes in task objectives. We introduce AceAction, a dataset of human gameplay across multiple 3D games for learning skill composition and subgoal transitions. AceAction organizes demonstrations around complete tasks, linking overall instructions, ordered subgoals, and local skill instructions to temporally aligned visual observations and keyboard-and-mouse actions. To construct these annotations, we develop a vision-language model pipeline that identifies subgoals from changes in objectives or interaction targets, anchors navigation goals to visually recognizable waypoints, and composes adjacent subgoals into task instructions. The resulting demonstrations cover navigation, reconnaissance, combat, interaction, and recovery, with explicit stage boundaries that connect task progression to fine-grained control. We assess annotation quality through model-based verification and human inspection. An audit of 500 trajectories yields a 95.8% pass rate across independent reviewer assessments. AceAction provides a data foundation for studying how agents execute, combine, and switch skills to follow complex instructions in dynamic game environments.
• Abstract（参考訳）: ビデオゲームは視覚言語(VLA)データを収集するための実用的な設定を提供する。 しかし、既存のデータセットは制限されたゲームカバレッジ、スパース言語監督、タスク目標の変化を必ずしも反映しない時間階層によって制限されている。 AceActionは、複数の3Dゲームにまたがる人間のゲームプレイのデータセットで、スキル構成とサブゴール遷移を学習する。 AceActionは、完全なタスクに関するデモを組織し、全体的な指示、命令されたサブゴール、および局所的なスキル指示を時間的に整列された視覚的観察とキーボードとマウスのアクションにリンクする。 これらのアノテーションを構築するために,目標やインタラクション対象の変化からサブゴールを識別し,ナビゲーション目標を視覚的に認識可能なウェイポイントにアンカーし,隣接するサブゴールをタスク命令に構成する,視覚言語モデルパイプラインを開発した。 結果として得られたデモンストレーションは、ナビゲーション、偵察、戦闘、相互作用、回復をカバーし、タスクの進行ときめ細かい制御を接続する明確なステージ境界をカバーしている。 モデルに基づく検証と人間の検査により,アノテーションの品質を評価する。 500トラジェクトリの監査は、独立レビューアアセスメントで95.8%のパスレートを得る。 AceActionは、エージェントがどのように実行し、組み合わせ、スキルを切り替えて、ダイナミックなゲーム環境で複雑な命令に従うかを研究するためのデータ基盤を提供する。

関連論文リスト

• Look Before You Move: Agent-Interface-Aligned Supervision for Open-World Mobile Manipulation [20.555568617501336]
  オープンワールドのモバイル操作では、ロボットがオブジェクトを探し、接近し、言語命令からターゲットのレセプタクルに移動する必要がある。 既存のパイプラインは、計画された軌跡を高レベルなアクションラベルに変換することが多いが、最短パスの進行は、見る場所を決定するための限られた監督を提供する。 本稿では,AIDAについて紹介する。AIDAは,教師がエージェントのスキルインターフェースを通じて直接選択し,アクションを実行するデータ収集パイプラインである。
  論文  参考訳（メタデータ） (2026-10-11T12:37:28Z)
• Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models [129.76412745258145]
  World Action Models(WAM)は、視覚力学予測とアクション生成を結合するが、操作タスク間のアクションエクスペリエンスの再利用を明示的にサポートしていない。 本研究では,歴史的行動軌跡を共有行動埋め込みにエンコードするアクション体験辞書(AED)を開発した。 シミュレーション・ベンチマークと実世界のクロス・エボディメント・セッティングの実験により,AEDの有効性が検証された。
  論文  参考訳（メタデータ） (2026-09-30T17:26:38Z)
• DISCO: Embodied Navigation and Interaction via Differentiable Scene Semantics and Dual-level Control [53.80518003412016]
  人間の命令によって多様なタスクに熟練した汎用的なインテリジェントホームアシストエージェントを構築することは、AI研究の長期的青写真である。 本研究では,具体的エージェントに対する原始的移動操作,すなわち指示された動詞と名詞のペアに基づいて,ナビゲートと対話の仕方について検討する。 本研究では、文脈化されたシーンモデリングと効率的な制御における非自明な進歩を特徴とするdisCOを提案する。
  論文  参考訳（メタデータ） (2024-07-20T05:39:28Z)
• Localizing Active Objects from Egocentric Vision with Symbolic World Knowledge [62.981429762309226]
  タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。 本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。 Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2023-10-23T16:14:05Z)
• $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models [89.64729024399634]
  本研究では,ゼロショット視覚言語ナビゲーション(ZS-VLN)の課題について検討する。 通常、命令は複雑な文法構造を持ち、しばしば様々な行動記述を含む。 これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。
  論文  参考訳（メタデータ） (2023-08-15T19:01:19Z)
• Are We There Yet? Learning to Localize in Embodied Instruction Following [1.7300690315775575]
  Action Learning From Realistic Environments and Directives (ALFRED)は、この問題に対する最近提案されたベンチマークである。 このタスクの主な課題は、ターゲット位置のローカライズと、視覚的な入力によるナビゲーションである。 ナビゲーションサブゴール中のエージェントの視野を複数の視野角で拡張し、各タイムステップでターゲット位置に対する相対的な空間的関係を予測するようにエージェントを訓練します。
  論文  参考訳（メタデータ） (2021-01-09T21:49:41Z)
• ArraMon: A Joint Navigation-Assembly Instruction Interpretation Task in Dynamic Environments [85.81157224163876]
  我々は、収集したオブジェクトを組み立てるビジョン・アンド・ランゲージナビゲーションとオブジェクト参照表現理解を組み合わせることで、新しい共同ナビゲーション・アンド・アセンブリタスク、ArraMonを作成します。 この作業中、エージェントは、複雑で現実的な屋外環境において、自然言語の指示に基づいてナビゲートすることで、異なる対象物を1対1で見つけ、収集するよう依頼される。 我々は,いくつかのベースラインモデル(積分とバイアス)とメトリクス(nDTW, CTC, rPOD, PTC)の結果を提示する。
  論文  参考訳（メタデータ） (2020-11-15T23:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。