論文の概要: XGenAct: Geometry-Enhanced World Action Models through Cross-Task Generation

• arxiv url: http://arxiv.org/abs/2610.03516v1
• Date: Fri, 02 Oct 2026 16:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.470391
• Title: XGenAct: Geometry-Enhanced World Action Models through Cross-Task Generation
• Title（参考訳）: XGenAct: クロスタスク生成による幾何学的世界行動モデル
• Abstract要約: 我々は,RGBの観察,ロボットアクション,メートル法深度,表面正規度,機能的役割セグメンテーションを,決定論的コーデックによるRGBビデオとして表現する世界アクションモデルXGenActを紹介する。 XGenActは、訓練中に知覚と行動のタスクをサンプリングすることにより、1つのビデオ拡散変換器と1つの目的を用いて、時間的予測をこれらの空間にわたって学習する。
• 参考スコア（独自算出の注目度）: 12.951405195487048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World action models (WAMs) have advanced robot control by predicting how observations and actions evolve over time. Despite this progress, RGB and action based future prediction does not explicitly address the spatial understanding needed for robot manipulation. Existing efforts often add a limited set of spatial prediction tasks through specialized heads or branches, leaving both the range of spatial supervision and the model architecture fragmented. We introduce XGenAct, a world action model that represents RGB observations, robot actions, metric depth, surface normals, and functional role segmentation as RGB videos through deterministic codecs. By sampling perception and action tasks during training, XGenAct uses one video diffusion transformer and one objective to learn temporal prediction across these spaces without modality specific learned heads. On held out RLBench tasks, structured perception training improves average closed loop success over RGB only training, and XGenAct achieves 52% success in the five task external comparison, versus 26% for the strongest evaluated baselines. It also predicts future depth and segmentation more accurately than the evaluated pipelines that generate RGB first and then apply a frozen perception expert.
• Abstract（参考訳）: 世界行動モデル(WAM)は、時間とともに観察と行動がどのように進化するかを予測することによって、高度なロボット制御を持つ。 この進歩にもかかわらず、RGBとアクションに基づく将来の予測は、ロボット操作に必要な空間的理解に明示的に対処するものではない。 既存の取り組みは、しばしば特定の頭や枝を通して限られた空間予測タスクを追加し、空間的な監督範囲とモデルアーキテクチャの両方を断片化する。 我々は,RGBの観察,ロボットアクション,メートル法深度,表面正規度,機能的役割セグメンテーションを,決定論的コーデックによるRGBビデオとして表現する世界アクションモデルXGenActを紹介する。 XGenActは、訓練中に知覚と行動のタスクをサンプリングすることにより、1つのビデオ拡散変換器と1つの目的を用いて、時間的予測をこれらの空間にわたって学習する。 RLBenchタスクでは、構造化された知覚トレーニングはRGBのみのトレーニングよりも平均閉ループ成功を向上し、XGenActは5つのタスクの外部比較で52%の成功を達成し、最も評価されたベースラインでは26%である。 また、RGBを生成する評価パイプラインよりも、将来的な深度とセグメンテーションを正確に予測し、凍結した認識エキスパートを適用します。

関連論文リスト

• RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
  H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。 本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。 ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
  論文  参考訳（メタデータ） (2026-08-13T09:55:59Z)
• GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
  視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。 標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。 フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
  論文  参考訳（メタデータ） (2026-05-20T05:51:30Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• A brief introduction to a framework named Multilevel Guidance-Exploration Network [23.794585834150983]
  本稿では,Multilevel Guidance-Exploration Network(MGENet)と呼ばれる新しいフレームワークを提案する。 具体的には、まず骨格キーポイントを入力とし、RGBエンコーダを誘導する学習済み正規化フローを用いて、未知のRGBフレームを入力として取り込んで、動作遅延特徴を探索する。 提案手法は,上海技術とUBnormalデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-12-07T08:20:07Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Synergistic saliency and depth prediction for RGB-D saliency detection [76.27406945671379]
  既存のRGB-Dサリエンシデータセットは小さく、多様なシナリオに対して過度に適合し、限定的な一般化につながる可能性がある。 そこで本研究では,RGB-Dサリエンシ検出のための半教師付きシステムを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。