論文の概要: Flex-$π$: A Multi-Stream World-Action Model with Compute Flexibility

• arxiv url: http://arxiv.org/abs/2608.10860v2
• Date: Thu, 13 Aug 2026 07:46:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 14:00:09.718654
• Title: Flex-$π$: A Multi-Stream World-Action Model with Compute Flexibility
• Title（参考訳）: Flex-$π$: コンピュータフレキシビリティを備えたマルチストリームワールドアクションモデル
• Abstract要約: RGBをエンコードする冷凍ビデオ生成VAEも、3Dのポイントマップをほとんど無傷でエンコードしており、ポイントマップ固有のトレーニングは一切ない。 これにより、RGBとともに3D幾何学とオブジェクト中心のDINOセマンティクスに基づいてFlex-$、6BパラメータのWAMを監督することができます。 すべての視覚信号がこの共有潜在空間に投影され、Mixture-of-Transformersバックボーン内のアクションと共同で識別される。
• 参考スコア（独自算出の注目度）: 25.477428304143235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World-action models (WAMs) predict the future to act better, but nearly all of them predict only RGB latents, trained purely for pixel reconstruction, with no explicit signal for the 3D geometry or object semantics manipulation needs. We find a surprising free lunch: the same frozen video-generation VAE that encodes RGB also encodes 3D pointmaps almost losslessly, with no pointmap-specific training at all. This lets us supervise Flex-$π$, a 6B-parameter WAM, on 3D geometry and object-centric DINO semantics alongside RGB, at no cost in new sensors, new pre-training, or inference latency. Every visual signal is projected into this shared latent space and denoised jointly with actions inside a Mixture-of-Transformers backbone; per-stream dropout with cross-modality forcing then lets a single trained checkpoint run on any subset of these streams, from a fast action-only mode to full joint generation. The result is a policy that is exceptionally demonstration-efficient and generalizes well, beating the strongest baselines by up to 2-7$\times$ on dexterous, precise, real-world bimanual manipulation tasks both in and out of distribution, all while running faster than $π_{0.5}$. Our project website: https://flex-pi.github.io/
• Abstract（参考訳）: 世界行動モデル(WAM)は未来を予測しているが、ほとんど全員がRGB潜伏者のみを予測し、純粋にピクセル再構成のために訓練され、3D幾何学やオブジェクトセマンティックス操作に必要な明確な信号は存在しない。 RGBをエンコードする冷凍ビデオ生成VAEも、3Dのポイントマップをほとんど無傷でエンコードしており、ポイントマップ固有のトレーニングは一切ない。 これにより、6BパラメータのWAMであるFlex-$π$を、RGBとともに3D幾何学とオブジェクト中心のDINOセマンティクスで監視できます。 すべての視覚信号がこの共有潜在空間に投影され、Mixture-of-Transformersバックボーン内のアクションと共同で識別される。 その結果、極端に実証効率が高く一般化され、最大2-7$\times$で最強のベースラインを上回り、分布内および外の両方で、π_{0.5}$より高速に動作する実世界のバイマン的操作タスクに打ち勝つ。 プロジェクトのWebサイト: https://flex-pi.github.io/

関連論文リスト

• Disparity Has a Sign: Stereo Matching Beyond the Zero-Disparity Plane [52.210414985125816]
  立体視内容が、負の相違に対応するゼロの相違面の背後にある物体をどう含んでいるかを示す。 撮影者が作成した7本の公開映画から21,495ドルのステレオペアのベンチマークである textitZDPShift を提案する。 同じシーンコンテンツでは、ファンデーションは25.24ドルEPEから75.33ドルpxに上昇し、すべてのバックボーンが3ピクセルの差分誤差を超えるピクセルの約半分を残している。
  論文  参考訳（メタデータ） (2026-09-06T19:58:35Z)
• GeoRay: Gauge-Aware Feed-Forward Satellite 3D Reconstruction in the Geodetic Frame [11.043507429399414]
  パースペクティブに制約された特徴、絶対標高、モノクラーおよびマルチビューキューを扱う方法。 軽量な ray-consistent アダプタは、凍結したバックボーンをネイティブな RPC 線に沿って適合させる。 18のシステムの絶対フレームベンチマークであるStandardは、登録やテスト参照リークなしに絶対配置をスコア付けします。
  論文  参考訳（メタデータ） (2026-08-30T09:27:36Z)
• G$^3$VLA: Geometric inductive bias for Vision-Language-Action Models [3.704517635293094]
  視覚言語アクション(VLA)モデルは、汎用ロボット操作において急速に進歩した。 それらの視覚トークンは、ロボットのカメラのキャリブレーションされた形状ではなく、2D画像座標に基づいている。 予め訓練されたVLAの視覚的ストリームに校正された構造を注入するカメラ対応幾何モジュールであるG$3$VLAを提案する。
  論文  参考訳（メタデータ） (2026-06-23T12:02:36Z)
• $μ_0$: A Scalable 3D Interaction-Trace World Model [54.38434730157622]
  3次元トレースに基づくスケーラブルな世界モデルを提案する。 我々のTraceExtractシステムは自動的に3Dの監視を抽出する。 これらの結果から,3次元トレーサを拡張性および移動性のあるクロスボデーメント操作の表現として確立した。
  論文  参考訳（メタデータ） (2026-06-11T17:59:56Z)
• Towards Camera-Robust 3D Localization: Equation-Anchored Tool-Use for MLLMs [72.8641426724502]
  MLLM(Multimodal Large Language Models)における3次元ローカライゼーションは、カメラ固有の曖昧さによって制限される。 本稿では,空間ツールを式変数として再活用する,等式対応型ツール利用フレームワークを提案する。 提案手法は,RGBのみのベースラインとツール拡張ベースラインよりも優れており,カメラがトレーニングスケールから最も逸脱する点において,大きな効果がある。
  論文  参考訳（メタデータ） (2026-05-19T08:30:21Z)
• Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
  バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。 本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。 我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
  論文  参考訳（メタデータ） (2026-02-27T08:54:20Z)
• Test3R: Learning to Reconstruct 3D at Test Time [58.0912500917036]
  Test3Rは驚くほどシンプルなテストタイム学習技術で、幾何学的精度を大幅に向上させる。 本手法は従来の3次元再構成法や多視点深度推定法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-16T17:56:22Z)
• X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views [49.55319833743988]
  この記事では、まれに議論されるが重要な設定に焦点を当てる。複数のシーンを表現可能な1つのモデルをトレーニングできるだろうか? 不十分な見解は、非常に疎外で、ほとんど重複しない見解に言及する。 X-NeRFは,座標に基づくマッピングではなく,一般的なシーン完了過程を学習する,完全に明示的なアプローチである。
  論文  参考訳（メタデータ） (2022-10-11T04:29:26Z)
• FIDNet: LiDAR Point Cloud Semantic Segmentation with Fully Interpolation Decoding [5.599306291149907]
  2次元球面領域画像上に点雲を投影すると、LiDARセマンティックセマンティックセマンティックセマンティクスがレンジ画像上の2次元セマンティクスタスクに変換される。 本稿では,新しいネットワーク構造と効率的な後処理ステップからなる投影型LiDARセマンティックセマンティックセマンティクスパイプラインを提案する。 我々のパイプラインは、40倍の2048$の解像度を持つプロジェクションベースのメソッドと、すべてのポイントワイズソリューションの中で、最高のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-09-08T17:20:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。