論文の概要: Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding

• arxiv url: http://arxiv.org/abs/2604.19609v1
• Date: Tue, 21 Apr 2026 15:56:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.857215
• Title: Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding
• Title（参考訳）: ボリューム変換器:3Dシーン理解のためのバニラ変換器の再検討
• Authors: Kadir Yilmaz, Adrian Kruse, Tristan Höfer, Daan de Geus, Bastian Leibe,
• Abstract要約: トランスフォーマーはディープラーニングの共通基盤となっているが、3Dシーンの理解は依然として強力なドメイン事前を持つ専門のバックボーンに依存している。 バニラトランスフォーマーエンコーダを最小限の修正で3Dシーンに適応させることで、このギャップを埋める。 コンボリューショナルな教師による3次元強化, 正規化, 蒸留に基づくデータ効率のトレーニング手法を導入し, ボルトを最先端の手法に対抗させる。
• 参考スコア（独自算出の注目度）: 16.807333302115897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have become a common foundation across deep learning, yet 3D scene understanding still relies on specialized backbones with strong domain priors. This keeps the field isolated from the broader Transformer ecosystem, limiting the transfer of new advances as well as the benefits of increasingly optimized software and hardware stacks. To bridge this gap, we adapt the vanilla Transformer encoder to 3D scenes with minimal modifications. Given an input 3D scene, we partition it into volumetric patch tokens, process them with full global self-attention, and inject positional information via a 3D extension of rotary positional embeddings. We call the resulting model the Volume Transformer (Volt) and apply it to 3D semantic segmentation. Naively training Volt on standard 3D benchmarks leads to shortcut learning, highlighting the limited scale of current 3D supervision. To overcome this, we introduce a data-efficient training recipe based on strong 3D augmentations, regularization, and distillation from a convolutional teacher, making Volt competitive with state-of-the-art methods. We then scale supervision through joint training on multiple datasets and show that Volt benefits more from increased scale than domain-specific 3D backbones, achieving state-of-the-art results across indoor and outdoor datasets. Finally, when used as a drop-in backbone in a standard 3D instance segmentation pipeline, Volt again sets a new state of the art, highlighting its potential as a simple, scalable, general-purpose backbone for 3D scene understanding.
• Abstract（参考訳）: トランスフォーマーはディープラーニングの共通基盤となっているが、3Dシーンの理解は依然として強力なドメイン事前を持つ専門のバックボーンに依存している。 これにより、トランスフォーマーのエコシステムから離れた領域が維持され、新たな進歩の転送が制限され、さらに最適化されたソフトウェアやハードウェアスタックのメリットも制限される。 このギャップを埋めるために、バニラトランスフォーマーエンコーダを最小限の修正で3Dシーンに適用する。 入力された3Dシーンをボリュームパッチトークンに分割し、完全なグローバルな自己注意で処理し、回転位置埋め込みの3D拡張を介して位置情報を注入する。 得られたモデルをボリュームトランスフォーマー(Volt)と呼び、3Dセマンティックセグメンテーションに適用する。 標準の3DベンチマークでVoltをネイティブにトレーニングすることで、現在の3D監視の規模が制限されていることを強調して、ショートカット学習につながります。 これを解決するために,コンボリューショナル・教師による3次元強化,正規化,蒸留に基づくデータ効率のトレーニング手法を導入し,Voltを最先端の手法と競合させる。 次に、複数のデータセットに対する共同トレーニングを通じて監視を拡大し、Voltがドメイン固有の3Dバックボーンよりも規模が大きくなることで、屋内および屋外のデータセットで最先端の結果が得られることを示す。 最後に、標準的な3Dインスタンスセグメンテーションパイプラインでドロップインバックボーンとして使用される場合、Voltは再び新しい最先端技術を設定し、3Dシーン理解のためのシンプルでスケーラブルで汎用的なバックボーンとしての可能性を強調している。

関連論文リスト

• PatchAlign3D: Local Feature Alignment for Dense 3D Shape understanding [67.15800065888887]
  現在の3次元形状の基礎モデルは、グローバルなタスク(検索、分類)において優れているが、局所的な部分レベルの推論には不十分である。 本稿では,ポイントクラウドから直接,言語対応のパッチレベル機能を生成するエンコーダのみの3Dモデルを提案する。 我々の3Dエンコーダは、テストタイムのマルチビューレンダリングなしで高速なシングルパス推論によるゼロショット3D部分分割を実現する。
  論文  参考訳（メタデータ） (2026-01-05T18:55:45Z)
• STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer [72.88105562624838]
  本稿では,ポイントマップ予測をデコーダのみの変換器問題として再構成する新しい3次元再構成手法STream3Rを提案する。 大規模な3Dデータセットから幾何学的先行性を学ぶことで、STream3Rは多様で困難なシナリオにうまく一般化する。 この結果から,オンライン3次元知覚のための因果変換モデルの可能性を浮き彫りにし,ストリーミング環境におけるリアルタイム3次元理解の道を開いた。
  論文  参考訳（メタデータ） (2025-08-14T17:58:05Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• Pix4Point: Image Pretrained Standard Transformers for 3D Point Cloud Understanding [62.502694656615496]
  本稿では、プログレッシブ・ポイント・パッチ・エンベディングと、PViTと呼ばれる新しいポイント・クラウド・トランスフォーマーモデルを提案する。 PViTはTransformerと同じバックボーンを共有しているが、データに対して空腹が少ないことが示されており、Transformerは最先端技術に匹敵するパフォーマンスを実現することができる。 我々は、イメージ領域で事前訓練されたトランスフォーマーを活用して、下流のクラウド理解を強化する、シンプルで効果的なパイプライン「Pix4Point」を定式化します。
  論文  参考訳（メタデータ） (2022-08-25T17:59:29Z)
• 3D Vision with Transformers: A Survey [114.86385193388439]
  自然言語処理におけるトランスフォーマーアーキテクチャの成功は、コンピュータビジョン分野の注目を集めている。 本稿では,異なる3次元視覚タスクのための100以上のトランスフォーマー手法の体系的,徹底的なレビューを行う。 我々は3次元視覚におけるトランスフォーマー設計について議論し、様々な3次元表現でデータを処理できるようにする。
  論文  参考訳（メタデータ） (2022-08-08T17:59:11Z)
• AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation [19.53151547706724]
  トランスをベースとしたモデルは、医療画像セグメンテーションにおけるこれらの手法の探求に注目されている。 本稿では、畳み込み層の長周期モデリングにおける詳細特徴抽出能力と変圧器強度の両面を活かしたAxial Fusion Transformer UNet(AFTer-UNet)を提案する。 パラメータが少なく、GPUメモリのトレーニングも従来のトランスフォーマーベースのモデルよりも少ない。
  論文  参考訳（メタデータ） (2021-10-20T06:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。