論文の概要: Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors
- arxiv url: http://arxiv.org/abs/2610.15556v1
- Date: Sun, 11 Oct 2026 11:59:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 17:59:53.581771
- Title: Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors
- Title（参考訳）: Vision-Predictor-Action:Neuro-Symbolic JEPA Predictorsによる効率的な身体型AIを目指して
- Abstract要約: VLA(Vision-Language-Action)モデルは、LLM(Large Language Model)デコーダを介してトークンによってロボットアクショントークンを生成する。
本稿では、自動回帰デコーダを軽量遅延制御ループに置き換えるゴールコンディションド・ビジョン・プレクタ・アクション(VPA)を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models commonly generate robot actions token by token through Large Language Model (LLM) decoders, causing inference latency to grow with action sequence length and limiting closed-loop control frequency. We present Goal-Conditioned Vision-Predictor-Action (VPA), which replaces autoregressive decoders with a lightweight latent control loop. A shared vision encoder and a frozen text encoder embed observations, goal images, and instructions; a neuro-symbolic selector chooses a discrete skill; a Joint-Embedding Predictive Architecture (JEPA) predictor forecasts the next latent state; and a flow-matching solver generates an entire action chunk in a few integration steps, so that sequential network evaluations per decision step do not depend on the action horizon. We analyze inference complexity, regularization against representation collapse, and conditions under which latent sub-goal thresholding limits error accumulation across task phases. As an initial proof of concept, we evaluated VPA on the LIBERO-10 suite. The trainable model has under 20M parameters (checkpoint under 75 MB, excluding a frozen 63.4M-parameter CLIP text encoder); a decision step of a single-camera reference configuration takes 10-14 ms on an Apple M4; and trained only on LIBERO-10 demonstrations in under three hours on a single GPU, a two-camera policy succeeded in 40.0% of 200 evaluation episodes. These preliminary results from a single training run suggest the approach is workable. Code and weights are available at https://github.com/ylee-sling/Vision-Predictor-Action and https://huggingface.co/ylee-sling/vpa-libero10, and archived at https://doi.org/10.5281/zenodo.22960920.
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは通常、Large Language Model (LLM)デコーダを介してトークンによってロボットアクショントークンを生成する。
本稿では、自動回帰デコーダを軽量遅延制御ループに置き換えるゴールコンディションド・ビジョン・プレクタ・アクション(VPA)を提案する。
共有ビジョンエンコーダ及び凍結テキストエンコーダは、観察、ゴール画像、指示を埋め込み、ニューロシンボリックセレクタは離散的なスキルを選択し、JEPA予測器は次の潜伏状態を予測する。
予測複雑性, 表現崩壊に対する正規化, およびタスクフェーズ間の遅延部分ゴールしきい値が誤差蓄積を制限する条件を解析する。
概念実証として, LIBERO-10 スイート上での VPA の評価を行った。
トレーニング可能なモデルは20Mパラメータ(63.4MパラメータCLIPテキストエンコーダを除く75MB未満のチェックポイント)未満で、シングルカメラの参照設定の決定ステップはApple M4上で10～14msかかり、1つのGPU上で3時間以内のLIBERO-10のデモでのみトレーニングされる。
単一のトレーニング実行によるこれらの予備的な結果は、アプローチが動作可能であることを示唆している。
コードとウェイトはhttps://github.com/ylee-sling/Vision-Predictor-Actionとhttps://huggingface.co/ylee-sling/vpa-libero10で利用可能で、https://doi.org/10.5281/zenodo.22960920でアーカイブされている。
関連論文リスト
- Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models [56.97744308982891]
本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。
AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
論文 参考訳（メタデータ） (2026-10-09T08:29:46Z) - SmoLSTM: A Compact Vision-Language-Action Model with Recurrent Memory that Persists [10.689090352457177]
視覚言語-アクションモデルは、しばしば現在の観察のみから行動を予測する。
SmoLSTMは凍結した256MパラメータのSmolVLMバックボーンをマトリックスメモリLSTM制御層に結合する。
フローマッチングアクションヘッドは、各制御ステップで10個のエンドエフェクタのチャンクがデルタとグッパーコマンドをポーズするのを予測する。
論文 参考訳（メタデータ） (2026-09-19T07:48:00Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳（メタデータ） (2026-08-27T17:26:24Z) - No Gaussian Required: Contrastive Inverse Dynamics for JEPA World Models [2.506624215459612]
JEPA(Joint-Embedding Predictive Architectures)は、将来の埋め込みを予測することで世界モデルを学ぶ。
すべての実用システムは、反崩壊機構を追加します。
我々は、反崩壊圧は移行データ自体から得ることができると主張している。
論文 参考訳（メタデータ） (2026-08-18T09:03:35Z) - G0.5: One Autoregressive Stream for Robot Reasoning and Action [43.43377463558725]
本稿では,1つの変圧器デコーダが1つの目的の下で推論とアクショントークンを出力する,事前訓練された自己回帰VLAであるG0.5を紹介する。
推論とアクションは1組の重みを共有しているため、事前訓練されたVLMの能力は物理的な振る舞いへと引き継がれる。
G0.5は7つの独立した体制で最先端のモデルを上回っている。
論文 参考訳（メタデータ） (2026-08-12T07:26:47Z) - X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining [30.94061302469486]
X-Tokenizerは、共有アクションインタフェースを提供する軽量エンコーダ-セマンティック残留量子化(SRQ)デコーダアーキテクチャである。
X-Tokenizerは、上位の現実世界の集約と強力なRoboTwin 2.0シミュレーション結果を達成する。
論文 参考訳（メタデータ） (2026-06-07T09:39:39Z) - RhinoVLA Technical Report [21.184649039103572]
VLA(Vision-Language-Action)モデルは、ロボット操作の強力な可能性を示しているが、エッジハードウェアへのリアルタイムデプロイメントは依然として困難である。
We propose RhinoVLA, a deployment-oriented VLA model with the Huixi R1 edge chip。
RhinoVLAはトークン効率のよいQwen3-VLバックボーンと継続的アクションエキスパートを採用しており、VLM側のトークンと計算負荷を低減している。
論文 参考訳（メタデータ） (2026-06-05T15:21:41Z) - Multistep Inverse Is Not All You Need [87.62730694973696]
実世界の制御環境では、観測空間は不要に高次元であり、時間関連ノイズにさらされることが多い。
したがって、観測空間を制御関連変数のより単純な空間にマッピングするエンコーダを学ぶことが望ましい。
本稿では,多段階逆予測と遅延フォワードモデルを組み合わせた新しいアルゴリズムACDFを提案する。
論文 参考訳（メタデータ） (2024-03-18T16:36:01Z) - FCOS: A simple and strong anchor-free object detector [111.87691210818194]
物体検出を画素ごとの予測方式で解くために, 完全畳み込み型一段物検出器 (FCOS) を提案する。
RetinaNet、SSD、YOLOv3、Faster R-CNNといった最先端のオブジェクト検出器のほとんどは、事前に定義されたアンカーボックスに依存している。
対照的に、提案した検出器FCOSはアンカーボックスフリーであり、提案はフリーである。
論文 参考訳（メタデータ） (2020-06-14T01:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。