論文の概要: Zebra3D: Efficient Hybrid Foundation Models For Scalable 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2610.12727v1
- Date: Thu, 08 Oct 2026 21:09:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.283473
- Title: Zebra3D: Efficient Hybrid Foundation Models For Scalable 3D Reconstruction
- Title(参考訳): Zebra3D: スケーラブルな3D再構成のための効率的なハイブリッドファンデーションモデル
- Abstract要約: 我々は階層的にスパース線形なハイブリッドアテンションフレームワークであるZebra3Dを紹介する。
これにより、スクラッチからトレーニングを受けることなく、事前訓練された3Dファンデーションモデルの効率が向上する。
高い注意範囲で強力な再構成とカメラ位置精度を実現する。
- 参考スコア(独自算出の注目度): 17.23144750014767
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Feed-forward 3D foundation models reconstruct scenes from unposed images, but the quadratic cost of global attention limits their scalability to large view sets. We present Zebra3D, a layerwise sparse-linear hybrid attention framework that improves the efficiency of pretrained 3D foundation models without training from scratch. Across VGGT, HunyuanWorld-Mirror, and $π^3$, we observe a broadly consistent depth-wise pattern: early stages are relatively tolerant to linear replacement, while sensitive middle-to-late stages tend to exhibit more concentrated attention. Zebra3D exploits this structure by assigning linear-centered attention to tolerant stages and tile-sparse attention to sensitive stages, using landmark summaries to preserve unselected context. Closed-form affine fitting enables training-free conversion, while optional post-conversion training combines task supervision with output and relational feature distillation. Across all three backbones, Zebra3D achieves strong reconstruction and camera-pose accuracy at high attention sparsity, with training-free variants remaining close to their dense counterparts. End-to-end speedups increase with input view count, reaching up to $7.1\times$ at 1,024 views. After post-conversion training, Zebra3D-VGGT reaches 80.5\% RealEstate10K AUC@30 at 94\% mean attention sparsity, within 1.1 percentage points of dense VGGT fine-tuned on the same data and schedule.
- Abstract(参考訳): フィードフォワード3Dファウンデーションモデルは、未提示画像からシーンを再構築するが、グローバルアテンションの二次コストは、そのスケーラビリティを大きなビューセットに制限する。
ゼブラ3D(Zebra3D)は、スクラッチからトレーニングを受けることなく、事前訓練された3D基礎モデルの効率を向上させる階層的にスパース線形ハイブリッドアテンションフレームワークである。
VGGT, HunyuanWorld-Mirror, and $π^3$, we observed a widely consistent depth-wise pattern: early stage are relatively to linear replacement, while sensitive middle-to-late stage showed more focus attention。
Zebra3Dはこの構造を利用して、線形中心の注意を寛容なステージに割り当て、タイルとスパースの注意を繊細なステージに割り当てる。
クローズドフォームアフィンフィリングは、トレーニング不要な変換を可能にし、オプションの変換後トレーニングは、タスク管理と出力とリレーショナル特徴蒸留を組み合わせたものである。
これら3つのバックボーン全体で、Zebra3Dは高度に注意を払って、強力な再構築とカメラの精度を実現している。
入力ビュー数によってエンドツーエンドのスピードアップが増加し、1,024ビューで最大7.1\times$に達する。
変換後のトレーニングの後、Zebra3D-VGGTはRealEstate10K AUC@30で80.5\%に達する。
関連論文リスト
- Revisiting Cross-View Completion: Self-Supervised Pre-Training via Reconstruction Error Comparison [25.854113650180736]
クロスビューコンプリートによる自己教師付き事前学習は、画像ペアの可視領域から3Dビジョンの強力な特徴を学習する。
我々は、この制限を有用な信号に変換するGekkoを紹介する。
Gekkoは、スクラッチからトレーニングされたネットワークで、クロスビュー補完、マスク付きオートエンコーディング、ピクセルごとの予測を共同で実行する。
論文 参考訳(メタデータ) (2026-09-01T16:57:46Z) - Open-Vocabulary BEV Segmentation with 3D-Aware Geometric Constraints [20.26519299938903]
オープンボキャブラリBEVセグメンテーション(OVBS)を導入し、トレーニングセットを超えてカテゴリを認識する。
OVBEVSegはジオメトリを意識したOVBSフレームワークであり、効率的なガウススプラッティング(GS)ベースのアンプロジェクションを強化する。
nuScenesデータセットでは、OVBEVSegは最先端のパフォーマンスを達成し、未確認のカテゴリで15.3 mIoUのクローズドセットメソッドよりも優れています。
論文 参考訳(メタデータ) (2026-06-23T09:43:12Z) - Domain Generalizable Adaptation of 3D Vision-Language Models via Regularized Fine-Tuning [22.63554774942836]
本稿では,ReFine3Dについて紹介する。ReFine3Dは3次元大規模マルチモーダルモデルのドメイン一般化可能なチューニングのための規則化された微調整フレームワークである。
ReFine3Dは、ベース・ツー・ノーベル・クラスの一般化を1.36%改善し、データセット間の転送を2.43%改善し、破損に対する堅牢性を1.80%改善し、ショット精度を最大3.11%向上した。
論文 参考訳(メタデータ) (2026-06-16T20:31:05Z) - Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds [53.82500407523346]
PointINSは、幾何学的学習を通じてポイントクラウド表現を豊かにする、インスタンス指向の自己組織化フレームワークである。
PointINSは、屋内のインスタンスセグメンテーションで平均+3.5%のmAP改善、屋外のパン光学セグメンテーションで+4.1%のPQゲインを達成している。
論文 参考訳(メタデータ) (2026-03-26T08:31:06Z) - Joint Semantic and Rendering Enhancements in 3D Gaussian Modeling with Anisotropic Local Encoding [86.55824709875598]
本稿では,セマンティックとレンダリングの両方を相乗化する3次元セマンティックガウスモデリングのための統合拡張フレームワークを提案する。
従来の点雲形状符号化とは異なり、細粒度3次元形状を捉えるために異方性3次元ガウシアン・チェビシェフ記述子を導入する。
我々は、学習した形状パターンを継続的に更新するために、クロスシーンの知識伝達モジュールを使用し、より高速な収束と堅牢な表現を可能にします。
論文 参考訳(メタデータ) (2026-01-05T18:33:50Z) - TriCLIP-3D: A Unified Parameter-Efficient Framework for Tri-Modal 3D Visual Grounding based on CLIP [52.79100775328595]
3Dビジュアルグラウンドティングは、人間の指示に基づいて現実世界の3D環境における視覚情報を理解するための具体的エージェントである。
既存の3Dビジュアルグラウンド法は、異なるモダリティの異なるエンコーダに依存している。
本稿では,3つのモードすべてを処理するために,統合された2次元事前学習型マルチモーダルネットワークを提案する。
論文 参考訳(メタデータ) (2025-07-20T10:28:06Z) - ALOcc: Adaptive Lifting-Based 3D Semantic Occupancy and Cost Volume-Based Flow Predictions [91.55655961014027]
シーン理解には3次元セマンティック占有とフロー予測が不可欠である。
本稿では,3つの改善点を目標とした視覚ベースのフレームワークを提案する。
我々の純粋な畳み込みアーキテクチャは、セマンティック占有率とジョイントセマンティックフロー予測の両方のために、複数のベンチマーク上で新しいSOTA性能を確立する。
論文 参考訳(メタデータ) (2024-11-12T11:32:56Z) - 3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning [19.763523500564542]
CHASEはスパース入力のみを使用して高密度なインプットレベルのパフォーマンスを実現する新しいフレームワークである。
トレーニングセットからの類似のポーズを活用することにより,変形したガウスを洗練する動的アバター調整(DAA)モジュールを導入する。
スパース入力用に設計されているが、CHASEはZJU-MoCapとH36Mデータセットのフル設定とスパース設定の両方で最先端のメソッドを超越している。
論文 参考訳(メタデータ) (2024-08-19T02:46:23Z) - BEVSpread: Spread Voxel Pooling for Bird's-Eye-View Representation in Vision-based Roadside 3D Object Detection [47.74067616658986]
視覚に基づく道路沿いの3D物体検出は、自律運転領域で注目を集めている。
この知見に触発されて,BEVSpreadと呼ばれる新しいボクセルプール方式を提案する。
BeVSpreadは既存のフラストタルベースのBEV法の性能を大幅に向上させることができる。
論文 参考訳(メタデータ) (2024-06-13T03:33:36Z) - Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D
Human Pose Estimation [107.07047303858664]
3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。
既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。
結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
論文 参考訳(メタデータ) (2020-04-07T20:21:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。