論文の概要: ALPS: Visual State Encoders for World Models

• arxiv url: http://arxiv.org/abs/2610.30120v1
• Date: Wed, 21 Oct 2026 17:57:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.469633
• Title: ALPS: Visual State Encoders for World Models
• Title（参考訳）: ALPS:世界モデルのビジュアルステートエンコーダ
• Abstract要約: プリトレーニングされた視覚状態エンコーダであるALPSを導入し、パッチトークンのセットで3つすべてを統一する。 静止画像とテキストのみを用いて, 言語, 再構成, 空間的対応目的を用いて, ViT-B/16をスクラッチから事前訓練する。 15の公開エンコーダで統一された評価では、ALPSは最下位の集合LIBERO状態プローブ誤差を達成する。
• 参考スコア（独自算出の注目度）: 54.01864814166769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models turn visual representations into predictions and actions. We argue that their visual foundation should combine physical-state information, native language alignment, and pixel reconstruction, so that a single representation can support prediction, instruction, and inspection. However, existing encoders typically specialize in only one or two of these capabilities; we therefore introduce ALPS, a pretrained visual state encoder that unifies all three in a single set of patch tokens. Using only still images and text, we pretrain a ViT-B/16 from scratch with language, reconstruction, and spatial correspondence objectives, and then refine it via cross-view self-distillation. In a unified evaluation across fifteen public encoders, ALPS achieves the lowest aggregate LIBERO state-probe error among ViT-B models (matching the 3.5x larger V-JEPA 2-L) while maintaining strong language alignment and accurate pixel reconstruction. Downstream, frozen ALPS tokens reach the highest mean policy success on LIBERO (85.5%) when paired with our native text tower, match or exceed leading encoders on world-model planning across PushT, Wall, and Granular, and allow predicted future tokens to be decoded directly into pixels for visual inspection. We hope this work helps establish visual pretraining as a shared foundation for understanding, prediction, and action in world models.
• Abstract（参考訳）: 世界モデルは視覚表現を予測や行動に変換する。 それらの視覚基盤は、物理状態情報、ネイティブ言語アライメント、ピクセル再構成を組み合わせ、単一の表現が予測、指示、検査をサポートするようにすべきである、と我々は主張する。 しかし、既存のエンコーダは、通常、これらの機能の1つか2つの機能のみを専門にしているため、プリトレーニング済みの視覚状態エンコーダであるALPSを導入し、パッチトークンのセットで3つ全てを統一する。 静止画像とテキストのみを用いて、言語、再構成、空間対応目的とスクラッチからViT-B/16を事前訓練し、その後、クロスビュー自己蒸留により洗練する。 15個の公開エンコーダの統一評価において、ALPSは、VT-Bモデル(3.5倍大きいV-JEPA 2-L)の中で、高い言語アライメントと正確な画素再構成を維持しながら、最下位の集合LIBERO状態プローブ誤差を達成する。 下流では、凍結されたALPSトークンがLIBERO (85.5%) 上で、ネイティブテキストタワーとペアになって、PushT、Wall、Granularを横断するワールドモデルプランニングの先導エンコーダにマッチまたは超過し、将来予測されるトークンを直接ピクセルにデコードして視覚検査することを可能にする。 この研究は、世界モデルにおける理解、予測、行動の共有基盤として、視覚的事前訓練を確立するのに役立つことを願っています。

関連論文リスト

• AlignJEPA: Predictive Vision-Language Alignment for Remote Sensing Foundation Models [17.02495765712523]
  AlignJEPAはJEPAにインスパイアされたリモートセンシング基盤モデルのための予測視覚言語アライメントフレームワークである。 自然言語センサ検索のためのBigEarthNet.txt上でAlignJEPAを訓練・評価し、RSICD上でのクロスデータセット適応を評価し、RSVQAをクローズドセット表現プローブとしてのみ使用する。
  論文  参考訳（メタデータ） (2026-08-16T00:27:07Z)
• TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
  既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。 提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。 当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
  論文  参考訳（メタデータ） (2025-03-19T17:58:57Z)
• Language Driven Occupancy Prediction [13.35971455725581]
  オープン語彙占有予測のための効果的で一般化可能なフレームワークであるLOccを紹介する。 私たちのパイプラインは、画像の貴重な意味情報を掘り下げ、画像からテキストラベルをLiDARポイントクラウドに、最終的にはボクセルに転送する、実現可能な方法を提供します。 教師付き占有モデルの当初の予測ヘッドを二進的占有状態のための幾何学ヘッドと言語特徴のための言語ヘッドに置き換えることで、LOccは生成された言語基底真実を効果的に利用して、3D言語ボリュームの学習をガイドする。
  論文  参考訳（メタデータ） (2024-11-25T03:47:10Z)
• Rejuvenating image-GPT as Strong Visual Representation Learners [28.77567067712619]
  本稿では,次のピクセルの予測に自己回帰事前学習を導入する先駆的な研究である画像GPTを強化する。 我々は、予測対象を生の画素から意味トークンにシフトし、視覚的内容の高レベルな理解を可能にする。 実験では、D-iGPTが視覚表現の強力な学習者として優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-04T18:59:20Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。