論文の概要: CanViT: Toward Active-Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2603.22570v1
• Date: Mon, 23 Mar 2026 21:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.188139
• Title: CanViT: Toward Active-Vision Foundation Models
• Title（参考訳）: CanViT:Active-Vision Foundation Modelsを目指して
• Authors: Yohaï-Eliel Berreby, Sabrina Du, Audrey Durand, B. Suresh Krishna,
• Abstract要約: CanViTは、最初のタスクおよびポリシーに依存しないアクティブ・ビジョン・ファンデーション・モデル(AVFM)である。 CanViTはシーンリレーショナルなRoPEを使用して、レチノピー的なビジョントランスフォーマーをシーンワイドの潜在ワークスペースにバインドする。 凍結したCanViT-Bは1つの低解像度で38.5% mIoUを達成し、最高のアクティブモデルでは27.6%、推論FLOPは19.5倍、微調整はない。
• 参考スコア（独自算出の注目度）: 3.8825198843426345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active computer vision promises efficient, biologically plausible perception through sequential, localized glimpses, but lacks scalable general-purpose architectures and pretraining pipelines. As a result, Active-Vision Foundation Models (AVFMs) have remained unexplored. We introduce CanViT, the first task- and policy-agnostic AVFM. CanViT uses scene-relative RoPE to bind a retinotopic Vision Transformer backbone and a spatiotopic scene-wide latent workspace, the canvas. Efficient interaction with this high-capacity working memory is supported by Canvas Attention, a novel asymmetric cross-attention mechanism. We decouple thinking (backbone-level) and memory (canvas-level), eliminating canvas-side self-attention and fully-connected layers to achieve low-latency sequential inference and scalability to large scenes. We propose a label-free active vision pretraining scheme, policy-agnostic passive-to-active dense latent distillation: reconstructing scene-wide DINOv3 embeddings from sequences of low-resolution glimpses with randomized locations, zoom levels, and lengths. We pretrain CanViT-B from a random initialization on 13.2 million ImageNet-21k scenes -- an order of magnitude more than previous active models -- and 1 billion random glimpses, in 166 hours on a single H100. On ADE20K segmentation, a frozen CanViT-B achieves 38.5% mIoU in a single low-resolution glimpse, outperforming the best active model's 27.6% with 19.5x fewer inference FLOPs and no fine-tuning, as well as its FLOP- or input-matched DINOv3 teacher. Given additional glimpses, CanViT-B reaches 45.9% ADE20K mIoU. On ImageNet-1k classification, CanViT-B reaches 81.2% top-1 accuracy with frozen teacher probes. CanViT generalizes to longer rollouts, larger scenes, and new policies. Our work closes the wide gap between passive and active vision on semantic segmentation and demonstrates the potential of AVFMs as a new research axis.
• Abstract（参考訳）: アクティブコンピュータビジョンは、シーケンシャルで局所的な視覚を通して、効率的で生物学的に妥当な知覚を約束するが、スケーラブルな汎用アーキテクチャや事前学習パイプラインは欠如している。 その結果、Active-Vision Foundation Models (AVFM) は未調査のままである。 canViTは,最初のタスクおよびポリシーに依存しないAVFMである。 CanViTは、シーンリレーショナルなRoPEを使用して、レチノトピックなビジョントランスフォーマーバックボーンと、スパゾトピックなシーンワイドの潜伏ワークスペースであるcanvasを結合する。 この高容量ワーキングメモリとの効率的な相互作用は、新しい非対称なクロスアテンション機構であるCanvas Attentionによって支持される。 思考(バックボーンレベル)と記憶(キャンバスレベル)を分離し、キャンバス側の自己アテンションと完全に接続されたレイヤを排除し、低レイテンシなシーケンシャル推論と大規模シーンへのスケーラビリティを実現します。 ランダムな位置, ズームレベル, 長さを持つ低解像度の視線列から, シーンワイドなDINOv3埋め込みを再構築する。 我々はCanViT-Bを、1台のH100で166時間で1320万のImageNet-21kシーンのランダム初期化からトレーニングした。 ADE20Kのセグメンテーションでは、冷凍されたCanViT-Bが1つの低解像度で38.5% mIoUを達成した。 さらに、CanViT-Bは45.9%のADE20K mIoUに達した。 ImageNet-1k分類では、CanViT-Bは凍った教師プローブで81.2%のTop-1精度に達する。 CanViTは、より長いロールアウト、より大きなシーン、そして新しいポリシーに一般化する。 セマンティックセグメンテーションにおける受動的ビジョンと能動的ビジョンの広いギャップを埋め、新たな研究軸としてのAVFMの可能性を示す。

関連論文リスト

• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)
• TinyBEV: Cross Modal Knowledge Distillation for Efficient Multi Task Bird's Eye View Perception and Planning [0.0]
  我々は、大規模な計画指向の教師のフルスタック能力を、コンパクトでリアルタイムな学生モデルに抽出する、統一されたカメラのみのBird's Eye View (BEV)フレームワークであるTinyBEVを紹介する。 TinyBEVは完全な自律スタック3D検出、HDマップセグメンテーション、モーション予測、占有率予測、28M-パラメータバックボーン内の目標指向計画をサポートする。 我々のモデル非依存多段階蒸留戦略は,高容量マルチモーダル知識を軽量BEVに効果的に伝達するために,特徴レベル,出力レベル,適応型領域認識の監視を組み合わせる。
  論文  参考訳（メタデータ） (2025-09-22T19:54:02Z)
• The Linear Attention Resurrection in Vision Transformer [0.6798775532273751]
  ビジョントランスフォーマー(ViT)は最近、コンピュータビジョンを嵐によって捉えた。 ViTsの基盤となるソフトマックスの注目は、時間とメモリの2次的な複雑さを伴い、高解像度画像へのViTsの適用を妨げる。 本稿では,この制限に対処する線形アテンション手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T16:29:17Z)
• ACC-ViT : Atrous Convolution's Comeback in Vision Transformers [5.224344210588584]
  我々は,地域情報とグローバル情報の両方を適応的に統合できる,地域的・疎外的な注意の融合であるAtrous Attentionを紹介した。 また、標準的な視覚タスクの慣行に従って、ACC-ViTと呼ばれる一般的な視覚変換器のバックボーンを提案する。 そのためACC-ViTは強力なビジョンバックボーンであり、小さなデータセットを持つニッチアプリケーションには理想的だ。
  論文  参考訳（メタデータ） (2024-03-07T04:05:16Z)
• Segment Any Point Cloud Sequences by Distilling Vision Foundation Models [55.12618600523729]
  Sealは、さまざまな自動車のポイントクラウドシーケンスをセグメント化するためのビジョンファウンデーションモデル(VFM)を利用するフレームワークである。 Sealはスケーラビリティ、一貫性、一般化性という3つの魅力的な特性を示している。
  論文  参考訳（メタデータ） (2023-06-15T17:59:54Z)
• DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
  我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。 ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。 実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T14:59:31Z)
• A Close Look at Spatial Modeling: From Attention to Convolution [70.5571582194057]
  ビジョントランスフォーマーは最近、洞察に富んだアーキテクチャ設計とアテンションメカニズムのために、多くのビジョンタスクに対して大きな約束をしました。 我々は、自己意図の定式化を一般化し、クエリ非関連なグローバルコンテキストを直接抽象化し、グローバルコンテキストを畳み込みに統合する。 FCViT-S12は14M未満のパラメータを持つため、ImageNet-1K上でのResT-Liteの精度は3.7%向上した。
  論文  参考訳（メタデータ） (2022-12-23T19:13:43Z)
• Offline Visual Representation Learning for Embodied Navigation [50.442660137987275]
  自己教師付き学習による視覚表現のオフライン事前学習(SSL) 長期学習スケジュール下での画像強調による特定のタスクにおけるビジュモータ表現のオンライン微調整
  論文  参考訳（メタデータ） (2022-04-27T23:22:43Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。