論文の概要: A Phenomenology of Neural Geometry in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.20840v2
- Date: Sat, 17 Oct 2026 14:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:22:33.490855
- Title: A Phenomenology of Neural Geometry in Vision-Language-Action Models
- Title(参考訳): 視覚・言語・行動モデルにおけるニューラルジオメトリーの現象
- Abstract要約: 実測幾何は主に多次元であり、政策の作用する制約によって形作られる。
この研究は、VLAポリシーで実現された幾何学の初期の現象を記述し、概念の形状が可読性と同じくらい重要であることを示した。
- 参考スコア(独自算出の注目度): 39.807911256514195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robotic manipulation is inherently geometric, but what shape does the world take inside the policy that performs it? Prior work on vision-language-action (VLA) policies establishes that task-relevant variables are linearly readable from activations, yet readability certifies only that a variable is present and says nothing about the shape its values trace, which may be curved and multi-dimensional. Using controlled sweeps, natural rollouts, linear probes, and activation interventions, we build a taxonomy of seven task-relevant concepts in VLA models. We find that realized geometry is predominantly multi-dimensional and is shaped by the constraints under which the policy acts. Physical joint limits, for example, leave wrist orientation an open arc rather than a circle, and distance to the target, a single scalar, is realized in two orthogonal subspaces, a coarse ruler for the approach and a fine ruler for the grasp. The same geometries reappear in two further VLA models on real-world robot data, indicating that they are neither model-specific nor artifacts of simulation. We demonstrate how the findings are actionable by steering along the geometry a concept realizes. Overall, this work lays out an initial phenomenology of realized geometry in VLA policies and demonstrates that a concept's shape carries as much importance as its readability.
- Abstract(参考訳): ロボット操作は本質的に幾何学的だが、それを実行するポリシーの中で、世界はどんな形を取るのだろうか?
視覚言語アクション(VLA)ポリシーに関する以前の研究は、タスク関連変数がアクティベーションから線形に可読であることを確立するが、可読性は変数が存在することのみを証明し、その値がトレースされる形については何も言わない。
制御されたスイープ、自然なロールアウト、線形プローブ、アクティベーション介入を用いて、VLAモデルにおける7つのタスク関連概念の分類を構築した。
実測幾何は主に多次元であり、政策の作用する制約によって形作られる。
物理的関節限界は、例えば、手首の向きを円ではなく開いている弧に置き、目標への距離である1つのスカラーは、2つの直交部分空間、接近の粗い定規、つかみの細かい定規で実現される。
同じジオメトリは、実世界のロボットデータ上でさらに2つのVLAモデルに再び現れ、それらはモデル固有のものでもシミュレーションの人工物でもないことを示している。
本研究は, 概念が実現した幾何に沿って操縦することで, 実験結果がどう作用するかを実証する。
全体として、この研究は、VLAポリシーにおいて実現された幾何学の初期の現象を記述し、概念の形状が可読性と同じくらい重要であることを示す。
関連論文リスト
- GeoWAM: Visual Geometry World Action Models for Autonomous Driving [14.05425826273513]
自律運転のための視覚幾何学的世界行動モデルである textbfGeoWAM を紹介する。
将来の画像を予測する代わりに、GeoWAMは将来のシーン形状を予測するために事前訓練されている。
幾何条件のアクションヘッドは、これらの学習された幾何学的ダイナミクスを利用して将来のエゴ軌道を予測する。
論文 参考訳(メタデータ) (2026-08-24T16:49:53Z) - Laguerre Geometry for Interpreting Large Language Models [2.255961793913651]
概念幾何学はLaguerre Geometryを通して正確に評価できることを示す。
また,2次元ビジュアライザであるLaguerre Autoencoderを開発した。
論文 参考訳(メタデータ) (2026-07-12T05:28:48Z) - HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。
Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
論文 参考訳(メタデータ) (2026-04-30T17:59:58Z) - Robotic Manipulation is Vision-to-Geometry Mapping ($f(v) \rightarrow G$): Vision-Geometry Backbones over Language and Video Models [65.05130114320734]
一般化可能なロボット制御の基礎は、広く採用されている視覚言語やビデオモデルではなく、視覚幾何学のバックボーンであるべきだと我々は主張する。
本研究では,事前訓練されたネイティブ3次元表現上でのアクション生成を直接条件付きで行うビジョン・ジオメトリ・アクション・モデルを提案する。
具体的には、VGAは従来の言語やビデオのバックボーンを事前訓練された3Dワールドモデルに置き換え、シームレスな視覚と幾何学のマッピングを確立する。
論文 参考訳(メタデータ) (2026-04-14T15:57:16Z) - Geoparsing: Diagram Parsing for Plane and Solid Geometry with a Unified Formal Language [60.70116693224378]
我々は平面と固体の幾何学を統合した統一形式言語を設計し、幾何学構造と意味関係を包括的に網羅する。
GDP-29Kは,実世界の様々な情報源から収集した20k平面と9k固体形状のサンプルからなる大規模データセットである。
論文 参考訳(メタデータ) (2026-04-13T15:09:56Z) - Make Geometry Matter for Spatial Reasoning [62.61667611352403]
視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。
近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。
我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
論文 参考訳(メタデータ) (2026-03-27T17:45:12Z) - The Information Geometry of Softmax: Probing and Steering [18.006877307358348]
表現空間の自然な幾何学は、モデルが表現を使って振る舞いを生成する方法を反映すべきである。
我々の焦点は、意味的エンコーディングと線形表現仮説における情報幾何学の役割である。
図示的応用として,表現を頑健に操り,特定の概念を示す手法である「デュアルステアリング」を開発する。
論文 参考訳(メタデータ) (2026-02-17T01:33:28Z) - GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。
GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
論文 参考訳(メタデータ) (2025-12-10T13:07:27Z) - Efficient Representations of Object Geometry for Reinforcement Learning
of Interactive Grasping Policies [29.998917158604694]
本稿では,様々な幾何学的に異なる実世界の物体の対話的把握を学習する強化学習フレームワークを提案する。
学習したインタラクティブなポリシーのビデオはhttps://maltemosbach.org/io/geometry_aware_grasping_policiesで公開されている。
論文 参考訳(メタデータ) (2022-11-20T11:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。