論文の概要: Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction
- arxiv url: http://arxiv.org/abs/2610.39416v2
- Date: Tue, 03 Nov 2026 02:40:44 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:29:29.032512
- Title: Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction
- Title（参考訳）: トケンではなくデコード幾何学:ロボットの歩行と軌道予測のための効率的なVLM
- Abstract要約: 0.5-2BパラメータのコンパクトなオフザシェルフVLMは、その中間隠蔽状態において、既に豊富な空間情報を符号化していることを示す。
静止空間情報を軽量で幾何互換の予測ヘッドで公開し、凍結したバックボーンにアタッチする。
我々の2B変種は、軌道誤差を60%以上削減し、自己回帰ベースラインと比較して、ShareRobot-Bench割当mAPを85%改善する。
- 参考スコア（独自算出の注目度）: 34.99041938818977
- License:
- Abstract: Predicting where to grasp and how to move is fundamentally a geometry problem. Vision-language models treat it as language generation instead. They tokenize spatial coordinates into text and decode them autoregressively. This mechanism ignores spatial structure and truncates continuous precision. Errors compound across coordinate tokens during decoding. In this paper, we show that compact off-the-shelf VLMs with 0.5-2B parameters already encode rich spatial information in their intermediate hidden states. Autoregressive decoding is the dominant bottleneck for trajectory prediction, while affordance prediction depends additionally on feature depth and decoder architecture. We expose the latent spatial information with a lightweight, geometry-compatible prediction head that attaches to a frozen backbone. It reads features from an intermediate hidden layer, conditions a learned query on the task instruction and refines it via cross-attention over the visual tokens to regress affordance boxes and trajectory waypoints directly as continuous values, without modifying the backbone. We evaluate on ShareRobot-Bench and AGD20K. Our 2B variant reduces trajectory error by over 60% and improves ShareRobot-Bench affordance mAP by 85% relative to the autoregressive baseline. It approaches RoboBrain on trajectory prediction (0.251 vs 0.191 DFD) at 3.8x higher throughput. These results demonstrate a favorable accuracy-efficiency trade-off for instruction-conditioned 2D geometric prediction.
- Abstract（参考訳）: どこでつかむか、どのように動くかを予測することは、基本的に幾何学的な問題である。
視覚言語モデルは代わりに言語生成として扱う。
彼らは空間座標をテキストにトークン化し、それらを自己回帰的にデコードする。
このメカニズムは空間構造を無視し、連続的な精度を損なう。
エラーはデコード中に座標トークンに複合する。
本稿では,0.5-2BパラメータのコンパクトなオフザシェルフVLMが,その中間隠蔽状態における豊富な空間情報を符号化していることを示す。
自己回帰復号化は軌道予測の主要なボトルネックであり、可測性予測は特徴深度とデコーダアーキテクチャに依存する。
静止空間情報を軽量で幾何互換の予測ヘッドで公開し、凍結したバックボーンにアタッチする。
中間のシークレット層から機能を読み出し、タスク命令で学習したクエリを条件付け、視覚トークンの横断的アテンションを通じてそれを洗練し、バックボーンを変更することなく、アベイランスボックスやトラジェクティブ・ウェイポイントを直接連続的な値として保持する。
ShareRobot-Bench と AGD20K について検討した。
我々の2B変種は、軌道誤差を60%以上削減し、自己回帰ベースラインと比較して、ShareRobot-Bench割当mAPを85%改善する。
軌道予測(0.251対0.191DFD)でRoboBrainに3.8倍のスループットでアプローチする。
これらの結果は,命令条件付き2次元幾何予測において,良好な精度・効率のトレードオフを示す。
関連論文リスト
- LEADER: Learning Reliable Local-to-Global Correspondences for LiDAR Relocalization [44.37632368250295]
我々は,単純かつ効果的な幾何エンコーダによって強化されたロバストなLiDARベースの再ローカライズフレームワークであるLEADERを提案する。
オックスフォード・ロボットカーとNCLTデータセットの実験は、LEADERが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2026-04-13T11:52:29Z) - PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models [23.263895549689863]
既存の手法は、言語のトークンのみを監督に用いながら、次世代の予測損失にのみ依存する。
mnameは、微粒な3次元幾何学的意味情報を保持するために、中間点のクラウドトークンを明示的に監督する。
モデルNet40および逆データセットを用いた実験により,本手法は,分類タスクの平均値に対して,textbf2.08ppの改善を達成できることを示した。
論文 参考訳（メタデータ） (2026-02-28T02:17:46Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2025-10-14T17:59:54Z) - Neighboring Autoregressive Modeling for Efficient Visual Generation [19.486745219466666]
NAR(Neighboring Autoregressive Modeling)は、自動回帰視覚生成をプログレッシブ・アウトペイントの手順として定式化する新しいパラダイムである。
空間時間空間における複数の隣接トークンの並列予測を可能にするために,次元指向デコードヘッドのセットを導入する。
ImageNet$256times 256$とUCF101の実験では、それぞれ2.4$times$と8.6$times$高いスループットを達成した。
論文 参考訳（メタデータ） (2025-03-12T05:52:27Z) - Efficient Masked AutoEncoder for Video Object Counting and A Large-Scale Benchmark [52.339936954958034]
前景の動的不均衡は、ビデオオブジェクトのカウントにおいて大きな課題である。
本稿では,密度埋め込み型効率的なマスドオートエンコーダカウント(E-MAC)フレームワークを提案する。
さらに,渡り鳥保護のための自然シナリオにおいて,まず,大規模なビデオバードカウントデータセットであるDroneBirdを提案する。
論文 参考訳（メタデータ） (2024-11-20T06:08:21Z) - iSDF: Real-Time Neural Signed Distance Fields for Robot Perception [64.80458128766254]
iSDFは実時間符号付き距離場再構成のための連続学習システムである。
より正確な再構築と、衝突コストと勾配のより良い近似を生成する。
論文 参考訳（メタデータ） (2022-04-05T15:48:39Z) - Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic
Parsing [55.97957664897004]
seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。
これらのモデルは通常、長さ予測によってボトルネックとなる。
本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
論文 参考訳（メタデータ） (2021-04-15T07:02:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。