論文の概要: All-For-One: Distilling Visual Foundation Models to a Fast, Memory-Efficient Visuomotor Policy

• arxiv url: http://arxiv.org/abs/2611.04485v1
• Date: Tue, 03 Nov 2026 08:16:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:51:04.497811
• Title: All-For-One: Distilling Visual Foundation Models to a Fast, Memory-Efficient Visuomotor Policy
• Title（参考訳）: All-For-One: 高速でメモリ効率の良いビズモータポリシにVisual Foundationモデルを拡張
• Abstract要約: Visual Foundation Models (VFM) は、ロボット操作に有用なセマンティックな手がかりを提供する。 VFMを訓練中の特権情報として厳密に活用するためのオールフォーワン(AFO)を提案する。 AFOは、推論時ポリシー実行から意味表現学習を分離する。
• 参考スコア（独自算出の注目度）: 57.1961751545781
• License:
• Abstract: Visual Foundation Models (VFMs) provide semantic cues such as depth and segmentation useful for robotic manipulation, but directly deploying them in closed-loop control is impractical due to high computational cost, temporal inconsistency, and distribution shift between static internet images and egocentric robot observations. We propose All-For-One (AFO), a two-stage distillation framework that leverages VFMs strictly as privileged information during training, using downstream robotic data. Following the privileged learning paradigm, AFO decouples semantic representation learning from inference-time policy execution. In the All stage, a teacher policy fuses RGB observations with outputs from multiple VFMs to learn a semantically enriched representation. In the For-One stage, this knowledge is distilled in-distribution into a lightweight RGB-only student policy. Evaluated on two Adroit tasks and five MetaWorld tasks in simulation, as well as three real-world manipulation tasks, AFO outperforms prior foundation-model-based approaches while using over 30x fewer parameters than VFM-based encoders and 50x lower latency than its own teacher in simulation benchmarks, providing an efficient pathway for transferring foundation-model knowledge to robotic control.
• Abstract（参考訳）: ビジュアルファンデーションモデル(VFM)は、ロボット操作に有用な深度やセグメンテーションのようなセグメンテーションを提供するが、高速な計算コスト、時間的不整合、静的インターネットイメージとエゴセントリックなロボット観察の間の分散シフトにより、それらをクローズドループ制御に直接展開することは現実的ではない。 下流ロボットデータを用いて,VFMをトレーニング中の特権情報として厳密に活用する2段階蒸留フレームワークであるAll-For-One(AFO)を提案する。 特権学習パラダイムに従って、AFOは推論時ポリシー実行から意味表現学習を分離する。 全段階において、教師の方針は、複数のVFMからの出力とRGBの観察を融合させ、意味的に豊かな表現を学ぶ。 For-Oneの段階では、この知識は軽量なRGBのみの学生政策に分配される。 シミュレーションにおける2つのAdroitタスクと5つのMetaWorldタスク、および3つの実世界の操作タスクに基づいて評価され、AFOは、VFMベースのエンコーダよりも30倍少ないパラメータを使用し、シミュレーションベンチマークにおいて自身の教師より50倍低いレイテンシを使用し、基礎モデルの知識をロボット制御に転送する効率的な経路を提供する。

関連論文リスト

• Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think [43.01990826833761]
  巨大なビデオロボットデータセットで事前訓練されたビジョンランゲージ・アクション(VLA)モデルは、ロボット操作に革命をもたらした。 様々な物理的軌道で訓練されているにもかかわらず、それらは重層的な表現の冗長性を示す。 完全にトレーニング不要な構造圧縮パイプラインを導入します。 この合理化されたアーキテクチャの下流での微調整により、トレーニング時間が40～50%削減され、最大30%高速なリアルタイム推論が可能になる。
  論文  参考訳（メタデータ） (2026-06-18T13:57:12Z)
• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• ABot-M0: VLA Foundation Model for Robotic Manipulation with Action Manifold Learning [31.000965640377128]
  ABot-M0は、システマティックデータキュレーションパイプラインを構築するフレームワークである。 これは不均一な生データを統一的で効率的な表現にエンドツーエンドに変換することを可能にする。 ABot-M0はデュアルストリーム機構を通じてモジュール認識をサポートする。
  論文  参考訳（メタデータ） (2026-02-11T16:47:01Z)
• DeFM: Learning Foundation Representations from Depth for Robotics [49.77188649197404]
  DeFMはロボットアプリケーションのための深度画像に基づいて訓練された自己教師型基礎モデルである。 DeFMは幾何学的および意味的な表現を学び、様々な環境、タスク、センサーに一般化する。 最先端の性能を達成し、シミュレーションから実環境への強力な一般化を実証する。
  論文  参考訳（メタデータ） (2026-01-26T19:45:31Z)
• InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
  InternVLA-A1は動的予測機能を備えた視覚言語モデルである。 我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。 InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-01-05T18:54:29Z)
• VER: Vision Expert Transformer for Robot Learning via Foundation Distillation and Dynamic Routing [89.48383845451717]
  ロボット学習のためのビジョンエキスパートトランスフォーマーであるVERを提案する。 プレトレーニング中、VERは複数のVFMをビジョンエキスパートライブラリに蒸留する。 そして、タスク関連の専門家を動的に選択するために、軽量なルーティングネットワークのみを微調整する。
  論文  参考訳（メタデータ） (2025-10-06T18:00:43Z)
• HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
  階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。 階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-08T07:50:22Z)
• VICON: Vision In-Context Operator Networks for Multi-Physics Fluid Dynamics Prediction [30.201826592090885]
  In-Context Operator Networks (ICONs) は、少数ショットのインコンテキスト学習を用いて様々な偏微分方程式の演算子を学習する。 既存のICONは各空間点を個々のトークンとして処理し、高次元の高密度データを処理する際に計算効率を著しく制限する。 本稿では,ビジョントランスフォーマーアーキテクチャを統合し,パッチワイズ操作による2次元データの効率的な処理を行うビジョン・イン・コンテキスト・オペレーター・ネットワーク(VICON)を提案する。
  論文  参考訳（メタデータ） (2024-11-25T03:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。