論文の概要: VINO: Revisiting 3D Representation Learning with Volume Transformers

• arxiv url: http://arxiv.org/abs/2611.07176v1
• Date: Wed, 04 Nov 2026 22:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.460882
• Title: VINO: Revisiting 3D Representation Learning with Volume Transformers
• Title（参考訳）: VINO:ボリュームトランスによる3D表現学習の再考
• Abstract要約: 自己教師付き学習は、下流のタスク間で転送可能な汎用画像表現を学習する視覚基盤モデルを生み出した。 我々は、現在の3D表現学習アプローチの鍵となる限界を特定し、その中核となる設計選択を再考する。 まず、一般的な階層型PTv3バックボーンを3Dシーン用のViTライクなアーキテクチャであるVolume Transformerに置き換える。
• 参考スコア（独自算出の注目度）: 25.84888889775024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning has given rise to vision foundation models that learn general-purpose image representations transferable across downstream tasks, yet representation learning for 3D scenes has not achieved comparable success. Motivated by this, we identify key limitations of current 3D representation learning approaches and revisit their core design choices. We first replace the commonly used hierarchical PTv3 backbone with the Volume Transformer, a ViT-like architecture for 3D scenes. We then redesign two core objectives of modern approaches built around student-teacher networks: matching representations across views and predicting masked content from visible context. For the first objective, we separate the roles of teacher and student: the teacher provides clean, consistent targets while the student learns invariance to stronger perturbations. For the second objective, we prevent the student from accessing the masked geometry and instead require it to infer missing representations from visible context only. Finally, we redesign 2D-to-3D knowledge distillation, replacing direct regression of view-dependent image features with view-consistent supervision. Together, these changes form VINO, a framework that learns semantic representations of 3D scenes without labels. VINO substantially improves dense linear probing across indoor and outdoor benchmarks and transfers strongly to out-of-domain settings.
• Abstract（参考訳）: 自己教師付き学習は、下流のタスク間で転送可能な汎用画像表現を学習する視覚基盤モデルを生み出したが、3Dシーンの表現学習は同等の成功には至らなかった。 そこで我々は,現在の3次元表現学習のアプローチにおける重要な限界を特定し,その中核となる設計選択を再考する。 まず、一般的な階層型PTv3バックボーンを3Dシーン用のViTライクなアーキテクチャであるVolume Transformerに置き換える。 次に、学生-教師ネットワークを中心に構築された近代的アプローチの2つの中核的目的を、ビュー間の表現のマッチングと、可視的コンテキストからマスキングされたコンテンツの予測という、再設計する。 まず,教師と生徒の役割を分離し,教師は清潔で一貫した目標を提供する一方で,生徒はより強い摂動に不変性を学習する。 第二の目的は、学生がマスクされた幾何学にアクセスするのを防ぎ、その代わりに、欠落した表現を目に見える文脈からのみ推測する必要がある。 最後に、2次元から3次元の知識蒸留を再設計し、ビュー依存画像特徴の直接回帰をビュー一貫性の監督に置き換える。 これらの変更は、ラベルなしで3Dシーンのセマンティック表現を学習するフレームワークであるVINOを形成する。 VINOは、屋内および屋外のベンチマーク全体にわたる密度の高い線形探索を大幅に改善し、ドメイン外の設定に強く移行する。

関連論文リスト

• Learning 3D Editing without Paired Supervision via Generative Prior Distillation [19.324368309084303]
  本稿では, 生成前蒸留法を用いて, ペアの3次元監督を伴わずにフィードフォワード3次元編集を学習する新しいフレームワークを提案する。 提案手法は命令忠実度とクロスビュー整合性を向上し,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-09-04T09:51:11Z)
• Splat and Distill: Augmenting Teachers with Feed-Forward 3D Reconstruction For 3D-Aware Distillation [10.159228582199924]
  Vision Foundation Models (VFM) は、様々な下流2Dタスクに適用することで大きな成功を収めた。 その効果にもかかわらず、それらはしばしば3D認識の重大な欠如を示す。 Splat と Distill は,高速なフィードフォワード3次元再構成パイプラインで教師モデルを強化することで,堅牢な3次元認識を2次元 VFM に組み込むフレームワークである。
  論文  参考訳（メタデータ） (2026-02-05T18:59:05Z)
• E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training [55.61379509038588]
  E-RayZerは、ラベルのない画像から直接、真の3D認識表現を学習する、自己教師付き大規模3Dビジョンモデルである。 E-RayZerは直接3D空間で動作し、明示幾何学を用いて自己教師付き3D再構成を行う。
  論文  参考訳（メタデータ） (2025-12-11T18:59:53Z)
• SSGaussian: Semantic-Aware and Structure-Preserving 3D Style Transfer [57.723850794113055]
  本研究では,事前学習した2次元拡散モデルから事前知識を統合する新しい3次元移動パイプラインを提案する。 パイプラインは2つの重要なステージで構成されています。 2つ目は、スタイリングされたキービュー間のインスタンスレベルの一貫性を効果的に活用し、それを3D表現に転送する、インスタンスレベルのスタイル転送である。
  論文  参考訳（メタデータ） (2025-09-04T16:40:44Z)
• Exploring the Untouched Sweeps for Conflict-Aware 3D Segmentation Pretraining [41.145598142457686]
  LiDARカメラによる3D画像の事前学習は、3D知覚タスクと関連する応用に有意な可能性を示唆している。 未探索フレームからLiDAR-画像ペアを精巧に選択するための,ビジョン・ファウンデーション・モデル駆動型サンプル探索モジュールを提案する。 我々の手法は、既存の最先端の事前訓練フレームワークを3つの主要な公道走行データセットで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-07-10T08:46:29Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• Unsupervised Learning of Visual 3D Keypoints for Control [104.92063943162896]
  高次元画像からの感覚運動制御ポリシーの学習は、基礎となる視覚表現の品質に大きく依存する。 本稿では,画像から3次元幾何学的構造を直接教師なしで学習するフレームワークを提案する。 これらの発見された3Dキーポイントは、時間と3D空間の両方で一貫した方法で、ロボットの関節と物体の動きを有意義にキャプチャする傾向がある。
  論文  参考訳（メタデータ） (2021-06-14T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。