Fugu-MT 論文翻訳(概要): GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models

論文の概要: GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models

arxiv url: http://arxiv.org/abs/2608.24714v1
Date: Tue, 25 Aug 2026 15:34:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:35.064911
Title: GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models
Title（参考訳）: ガウシアンWAM:3次元ガウシアン場から世界摩擦モデルへのジオメトリーとセマンティックの蒸留
Abstract要約: World-Action Models (WAM) は、ロボット操作のための表現学習信号としてビデオダイナミクスを用いて、将来の視覚予測とアクション生成を共同で学習する。我々は3次元ガウス場を通して幾何学的・意味的管理を組織する訓練時表現強調フレームワークである textbfGaussianWAM を提案する。
参考スコア（独自算出の注目度）: 21.006803571591707
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: World-Action Models (WAMs) jointly learn future visual prediction and action generation, using video dynamics as a representation-learning signal for robotic manipulation. However, their video latents are primarily optimized for visual prediction and are not explicitly encouraged to preserve cross-view geometric structure or spatially localized, object-relevant semantics. We propose \textbf{GaussianWAM}, a training-time representation-enhancement framework that organizes geometric and semantic supervision through a 3D Gaussian field. Given synchronized multi-view observations, frozen geometry and vision foundation models provide depth, camera parameters, and dense semantic features. GaussianWAM binds these heterogeneous signals to shared Gaussian primitives and renders spatially aligned semantic, depth, and coverage targets, which are distilled into the current-observation representations of the WAM. All teacher models, Gaussian components, and auxiliary prediction heads are removed after training, leaving the original WAM inference path without additional modules or forward computation. On LIBERO-Plus, GaussianWAM improves FastWAM from 52.05\% to 71.29\% and Cosmos Policy from 71.52\% to 77.30\%. Direct CLIP and VGGT distillation already establishes a strong FastWAM baseline of 69.37\%, while Gaussian-field unification further improves it to 71.29\%, supporting the benefit of spatially organizing heterogeneous teacher signals. GaussianWAM also improves performance on standard LIBERO and shows positive transfer trends on RoboTwin and real-world manipulation. These results suggest that training-time Gaussian distillation provides a practical way to inject geometry- and semantics-related supervision into WAM representations without changing their deployment architecture.
Abstract（参考訳）: World-Action Models (WAM)は、ロボット操作のための表現学習信号としてビデオダイナミクスを用いて、将来の視覚予測とアクション生成を共同で学習する。しかし、ビデオラテントは主に視覚的予測に最適化されており、クロスビュー幾何学的構造や空間的局所的なオブジェクト関連セマンティクスの保存を明示的に推奨されていない。本稿では,3次元ガウス場を通した幾何学的・意味的監督を組織化する訓練時間表現・エンハンスメントフレームワークである「textbf{GaussianWAM}」を提案する。同期された多視点観測により、凍結幾何学と視覚基盤モデルは深度、カメラパラメータ、密集した意味的特徴を提供する。ガウシアンWAMはこれらの異種信号を共有ガウシアンプリミティブに結合し、空間的に整合したセマンティック、ディープ、カバーターゲットをWAMの現在の観測表現に蒸留する。すべての教師モデル、ガウス成分、補助予測ヘッドは訓練後に取り除かれ、元のWAM推論パスは追加モジュールや前方計算なしで残される。 LIBERO-Plusでは、GaussianWAMはFastWAMを52.05\%から71.29\%に改善し、コスモス政策を71.52\%から77.30\%に改善した。直接CLIPとVGGT蒸留は、すでに69.37\%の強いFastWAMベースラインを確立しているが、ガウス場の統一により、さらに71.29\%に改善され、空間的に不均一な教師信号の組織化が期待できる。 GaussianWAM は標準 LIBERO の性能も向上し,RoboTwin や実世界の操作に肯定的な転送傾向を示す。これらの結果から, ガウス蒸留法は, 配置構造を変化させることなく, 幾何学的および意味論的にWAM表現に監督を注入する実践的な方法となることが示唆された。

関連論文リスト

GaussianDream++: Efficient 3D Gaussian World Modeling for Robotic Manipulation [55.47130289185285]
VLA(Vision-Language-Action)ポリシーは、高度な言語条件のロボット操作である。我々は textbfWorld State Tokens と textbfWorld Prediction Tokens を VLA バックボーンに直接挿入する,コンパクトでポリシーネイティブな拡張である textbfMethodname を提示する。
論文参考訳（メタデータ） (2026-08-26T11:41:55Z)
GaussVLA: Geometry-Aware Spatial Reasoning for Vision-Language-Action Model [8.618395711206896]
GaussVLAは、内在的な幾何学的構造を持たないフラットな2Dパッチトークンとして視覚観測を符号化する。学習クエリと、構造化された非自己回帰的な幾何学的推論を実行するemphDepth-Aware Chain-of-Thought (DA-CoT)をプールする。 LIBEROでは平均93.5%の成功、100.0%の成功で2億のパラメータしか持たない。
論文参考訳（メタデータ） (2026-08-25T06:28:28Z)
Gaussian-JEPA: Joint-Embedding Predictive Learning for 3D Gaussian Splats [91.55220894541151]
3D Gaussian Splatting (3DGS)は、幾何学と外観を結合的にエンコードする異方性プリミティブを持つ3Dコンテンツを表す。本稿では,ガウス的トークンブロックの表現を視覚的コンテキストから予測するガウス的JEPAを提案する。
論文参考訳（メタデータ） (2026-08-16T09:43:50Z)
Learning Adaptive Semantic Gaussian Allocation for 3D Occupancy [38.71779538292353]
メモリとレンダリングの制御に制限される場合、最も有用なガウス数を選択する方法を示す。本稿では,ガウス属性と局所幾何学的特徴を用いたセマンティックガウスアロケーション変換器(SAGFormer)を提案する。 nuScenes-SurroundOcc と SSCBench-KITTI-360 の実験により、SAGFormer は評価プロトコル下での占有率予測を改善し、より意味論的に一貫性があり、より有効化されたガウス表現が得られることが示された。
論文参考訳（メタデータ） (2026-07-24T01:52:49Z)
Bridging 3D Gaussians and Semantic Occupancy for Comprehensive Open-Vocabulary Scene Understanding from Unposed Images [62.31892851760248]
COVSceneはポーズレスセマンティックガウスフレームワークで、レンダリング可能なプリミティブと密接なセマンティック占有フィールドを結合する。我々は、COVSceneは、競争力のあるレンダリング品質を維持し、オープン語彙のセグメンテーションを改善し、自己教師付きベースラインよりも強力なセマンティック占有率予測を実現することを示す。
論文参考訳（メタデータ） (2026-07-02T03:00:23Z)
ShelfGaussian: Shelf-Supervised Open-Vocabulary Gaussian-based 3D Scene Understanding [7.610505486431266]
オープンボキャブラリ型多モードガウス型3Dシーン理解フレームワークであるShelfGaussianについて紹介する。既存の手法は、オブジェクトをアノテーション付き3Dラベルで教師される閉集合意味ガウスとしてモデル化し、そのレンダリング能力を無視したり、純粋に2Dの自己スーパービジョンを通じてオープンセットガウス表現を学習する。
論文参考訳（メタデータ） (2025-12-03T02:06:09Z)
AutoOcc: Automatic Open-Ended Semantic Occupancy Annotation via Vision-Language Guided Gaussian Splatting [46.677120329555486]
AutoOccはセマンティック占有アノテーションのためのビジョン中心の自動パイプラインである。オープンエンドなセマンティックな3D占有の再構築タスクを定式化し、シーン占有を自動的に生成する。我々のフレームワークは、人間のラベルを使わずに、既存の自動占有アノテーション手法より優れています。
論文参考訳（メタデータ） (2025-02-07T14:58:59Z)
GaussTR: Foundation Model-Aligned Gaussian Transformer for Self-Supervised 3D Spatial Understanding [44.68350305790145]
GaussTRは3次元空間理解を促進するためにガウス表現を通して基礎モデルアライメントとスパース3次元モデリングを統一する新しいトランスフォーマーフレームワークである。 Occ3D-nuScenesデータセットの実験では、GaussTRの12.27 mIoUの最先端のゼロショット性能と、トレーニング時間の40%削減が示されている。これらの結果は、スケーラブルで総合的な3次元空間理解のためのGaussTRの有効性を強調し、自律運転とエンボディエージェントに有望な意味を持つ。
論文参考訳（メタデータ） (2024-12-17T18:59:46Z)
MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction [86.87464903285208]
高品質な再構成のための神経信号距離場(SDF)とプリミティブを結合する新しい手法であるMonoGSDFを紹介する。任意のスケールのシーンを扱うために,ロバストな一般化のためのスケーリング戦略を提案する。実世界のデータセットの実験は、効率を保ちながら、以前の方法よりも優れています。
論文参考訳（メタデータ） (2024-11-25T20:07:07Z)
ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [112.40071212468843]
3D Gaussian Splatting (3DGS)は多くの視覚タスクにおいて3D表現の事実上の方法となっている。一般的なShapeNet, ModelNet, averseを用いて3DGSの大規模データセットを構築した。本稿では,ガウスパラメータからの表現学習の独特な利点を浮き彫りにしたガウスMAEを紹介する。
論文参考訳（メタデータ） (2024-08-20T14:49:14Z)
GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-27T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。