論文の概要: A scalar per patch from pre-trained ViTs enables fast moving navigation in the real world

• arxiv url: http://arxiv.org/abs/2606.21216v1
• Date: Fri, 19 Jun 2026 08:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:19:48.570303
• Title: A scalar per patch from pre-trained ViTs enables fast moving navigation in the real world
• Title（参考訳）: トレーニング済みViTsのスカラー1パッチは、現実世界の高速移動ナビゲーションを可能にする
• Authors: Steeven Janny, Leonid Antsfeld, Christian Wolf,
• Abstract要約: 実世界のロボティクスのための訓練されたポリシーはコンピュータビジョンコンポーネントに依存しており、通常は事前訓練されたビジュアルエンコーダである。 コンピュータビジョン・プレテキスト・タスクの形式での補助的損失を伴う事前訓練は、ロボット・タスクにおける決定的要因であり、重条件のエージェント・パフォーマンスであることを示す。
• 参考スコア（独自算出の注目度）: 16.715170504614992
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Trained policies for real-world robotics rely on computer vision components, typically in the form of pre-trained visual encoders. These encoders are an essential component and it has been shown that their power does not emerge from training on robotics downstream losses alone. Pre-training with auxiliary losses in the form of computer-vision pre-text tasks is a defining factor and heavily conditions agent performance in robotics tasks. In this unprecedented large-scale study, we ran 966 navigation episodes of static point goal navigation in a real-world building for 24km and asked which components really matter for the computer vision aspects of robotics: we evaluate state-of-the art visual encoders in realistic conditions. We explore the usefulness of heterogeneous multi-teacher distillation leading to encoders with multiple different and complementary skills. We investigate how much information from these encoders is necessary for robotics by bottlenecking them in a principled and spatially useful way and we show that this leads to the emergence of interpretable features linked to affordances. We also argue that training policies on RGB data alone does not lead to an optimal usage of visual features and show this by finetuning policies pre-trained on privileged information. All in all, we paint a more complete picture of what aspects of computer vision are relevant for real-world navigation.
• Abstract（参考訳）: 実世界のロボティクスのための訓練されたポリシーはコンピュータビジョンコンポーネントに依存しており、通常は事前訓練されたビジュアルエンコーダである。 これらのエンコーダは必須の要素であり、下流の損失だけではロボット工学のトレーニングからそのパワーが得られないことが示されている。 コンピュータビジョン・プレテキストタスクの形での補助的損失を伴う事前訓練は、ロボット工学タスクにおける決定的要因であり、エージェントのパフォーマンスが重い。 この前例のない大規模な研究で、私たちは24kmの現実世界の建物で静的ポイントゴールナビゲーションの966回のナビゲーションエピソードを実行し、ロボット工学のコンピュータビジョンの面において、どのコンポーネントが本当に重要なのかを尋ねました。 我々は,多種多様な相補的技術を持つエンコーダにつながる多種多型蒸留の有用性について検討した。 本研究では,ロボット工学において,これらのエンコーダから得られる情報量について,基本的かつ空間的に有用な方法でボトルネック化することで検討する。 また、RGBデータのみのトレーニングポリシは、視覚的特徴の最適利用には結びついておらず、特権情報に基づいて事前訓練されたポリシーを微調整することでこれを示している。 全体として、コンピュータビジョンが現実世界のナビゲーションにどのような意味を持つのか、より完全な絵を描きます。

関連論文リスト

• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• GNM: A General Navigation Model to Drive Any Robot [67.40225397212717]
  視覚に基づくナビゲーションのための一般的な目標条件付きモデルは、多くの異なるが構造的に類似したロボットから得られたデータに基づいて訓練することができる。 ロボット間の効率的なデータ共有に必要な設計決定について分析する。 我々は、訓練されたGNMを、下四極子を含む様々な新しいロボットに展開する。
  論文  参考訳（メタデータ） (2022-10-07T07:26:41Z)
• Towards self-attention based visual navigation in the real world [0.0]
  視覚誘導ナビゲーションでは、タスク指向の意思決定を知らせるために複雑な視覚情報を処理する必要がある。 シミュレーションで訓練された深層強化学習エージェントは、現実世界に配備された時に満足のいく結果を示すことが多い。 これは、4000以下のパラメータを使って3Dアクション空間をナビゲートする訓練に成功した、自己注意型エージェントの最初のデモンストレーションである。
  論文  参考訳（メタデータ） (2022-09-15T04:51:42Z)
• Low Dimensional State Representation Learning with Robotics Priors in Continuous Action Spaces [8.692025477306212]
  強化学習アルゴリズムは、エンドツーエンドで複雑なロボティクスタスクを解くことができることが証明されている。 本稿では,ロボットの生の知覚情報から得られる高次元の観察から,低次元状態表現の学習と最適ポリシーの学習を組み合わせた枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-04T15:42:01Z)
• Task-relevant Representation Learning for Networked Robotic Perception [74.0215744125845]
  本稿では,事前学習されたロボット知覚モデルの最終的な目的と協調して設計された感覚データのタスク関連表現を学習するアルゴリズムを提案する。 本アルゴリズムは,ロボットの知覚データを競合する手法の最大11倍まで積極的に圧縮する。
  論文  参考訳（メタデータ） (2020-11-06T07:39:08Z)
• One-Shot Informed Robotic Visual Search in the Wild [29.604267552742026]
  本研究では,環境モニタリングのための映像データ収集を目的とした水中ロボットナビゲーションの課題について考察する。 現在、フィールドロボットの大多数は、未構造化の自然環境における監視タスクを実行しており、経路追跡を通じて、指定された経路ポイントのシーケンスをナビゲートしている。 そこで本研究では,ロボットの視覚的探索を視覚的類似度演算子を用いて視覚的ナビゲーションを実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-22T22:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。