論文の概要: Multi-Dimensional Featurizers Yield Fine-Grained Steering and Data Shaping in Robot Foundation Models
- arxiv url: http://arxiv.org/abs/2610.20767v1
- Date: Wed, 14 Oct 2026 18:15:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.011342
- Title: Multi-Dimensional Featurizers Yield Fine-Grained Steering and Data Shaping in Robot Foundation Models
- Title(参考訳): ロボット基礎モデルにおけるファイングレードステアリングとデータ形状の多次元化
- Abstract要約: 視覚と言語モデルにおける最近の研究は多次元的特徴を明らかにし、ブロックスパースプロデューサ(BSF)を動機付けている
本稿では,この構造が視覚-言語-アクションモデルのための解釈可能なインターフェースを提供するかどうかを検討する。
本稿では,BSFがモデル計算の根底にある複数の多次元タスク関連特徴を復元することを示す。
- 参考スコア(独自算出の注目度): 34.013983482759116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can better feature discovery improve control over robot behavior through internal interventions and training data? Recent work in vision and language models reveals multidimensional features, motivating block-sparse featurizers (BSFs), which represent each feature in a low-dimensional subspace. We investigate whether recovering this structure provides an interpretable interface for steering vision-language-action models and shaping the data from which they learn. We show that BSFs recover several multi-dimensional task-relevant features underlying the model's computation (e.g., perception, language, proprioceptive state, episode phase, and control variables). We causally validate these features through fine-grained steering: targeted changes in visual perception, semantic representation, and spatial localization produce predictable changes in downstream action prediction. Finally, we use feature-based data attribution to isolate where a specific behavior (failure recovery) arises in the training dataset, identifying fewer than $1.4\%$ of training tokens whose masking is sufficient to remove the targeted behavior. Overall, our results show how matching featurizers to representation geometry can provide more effective tools for understanding and changing robot behavior.
- Abstract(参考訳): 内部介入とトレーニングデータにより、より優れた特徴発見はロボットの行動制御を改善することができるか?
視覚と言語モデルにおける最近の研究は、低次元部分空間における各特徴を表すブロックスパースプロデューサ(BSF)を動機付ける多次元特徴を明らかにしている。
本研究では,この構造を復元することで,視覚-言語-行動モデルに解釈可能なインタフェースが提供され,学習対象のデータを形作るかを検討する。
BSFはモデル計算の基盤となる複数の多次元タスク関連特徴(知覚、言語、受容状態、エピソードフェーズ、制御変数)を復元する。
視覚的知覚の変化,意味的表現,空間的局在化は下流行動予測の予測可能な変化をもたらす。
最後に、私たちは、特定の行動(障害回復)がトレーニングデータセットで発生した場所を分離するために、機能ベースのデータ属性を使用します。
以上の結果から,ロボットの動作の理解と変化を効果的に行うことができることを示す。
関連論文リスト
- Object-Centric Action-Enhanced Representations for Robot Visuo-Motor Policy Learning [21.142247150423863]
本稿では,意味的セグメンテーションと視覚表現生成を結合的に行うオブジェクト中心エンコーダを提案する。
これを実現するために、Slot Attentionメカニズムを活用し、大規模なドメイン外のデータセットで事前訓練されたSOLVモデルを使用する。
我々は、ドメイン外のデータセットで事前トレーニングされたモデルを活用することが、このプロセスの恩恵となり、人間のアクションを描写したデータセットの微調整により、パフォーマンスが大幅に向上することを示した。
論文 参考訳(メタデータ) (2025-05-27T09:56:52Z) - Shortcut Learning Susceptibility in Vision Classifiers [11.599035626374409]
ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。
本研究では,クラスラベルと位置と強度の相関関係にあるデータセットに意図的にショートカットを導入する。
異なる学習率で学習をショートカットする可能性を評価する。
論文 参考訳(メタデータ) (2025-02-13T10:25:52Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳(メタデータ) (2024-08-24T18:28:19Z) - Neural Surveillance: Live-Update Visualization of Latent Training Dynamics [16.042156252825755]
SentryCamは、学習を通して隠された表現の進行を追跡する視覚化フレームワークである。
SentryCamは、最小レイテンシで進化する表現空間を高忠実に視覚化する。
本稿では,SentryCamのモデル監査の実用性について,トレーニング不安定性に関するケーススタディを通して実証する。
論文 参考訳(メタデータ) (2024-05-24T01:23:20Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳(メタデータ) (2023-11-03T18:09:08Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。
我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文 参考訳(メタデータ) (2021-01-07T07:33:38Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。