論文の概要: SparseTalk - Sparsifying 3D Gaussian Language Fields for Efficient 3D Visual Question Answering
- arxiv url: http://arxiv.org/abs/2609.15137v1
- Date: Mon, 14 Sep 2026 07:10:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.127475
- Title: SparseTalk - Sparsifying 3D Gaussian Language Fields for Efficient 3D Visual Question Answering
- Title（参考訳）: SparseTalk - 効率的な3Dビジュアル質問応答のための3Dガウス言語フィールドのスポーリング
- Abstract要約: 3次元ガウス言語フィールドは、3次元視覚的質問応答を明示的かつ空間的に基礎づけた表現を提供する。
これらの密集したセマンティック機能は、シーン毎に数万の埋め込みを必要とする可能性があるため、かなりのストレージ、メモリ、推論コストがかかる。
下流の推論において,この表現が実際にどの程度必要かを検討する。
- 参考スコア（独自算出の注目度）: 3.8163171439699415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian language fields provide an explicit, spatially grounded representation for 3D visual question answering (VQA), but their dense semantic features can require tens of thousands of embeddings per scene, resulting in substantial storage, memory, and inference costs. We investigate how much of this representation is actually necessary for downstream reasoning. Starting from a full embedding representation, we systematically sparsify its semantic embeddings, including the previously underexplored regime below a single image-equivalent block down to 8 visual tokens. We compare random, geometric, semantic, and joint spatial-semantic selection strategies and introduce an object-based sparsification method that distributes the token budget across detected object instances while retaining background context. Experiments on ScanQA and MV-ScanQA reveal substantial redundancy in dense Gaussian language fields. Strong VQA performance is retained with only a few hundred semantic embeddings, corresponding to less than 1% of the original representation. Object-based selection performs well relative to others, with only modest observed changes down to 256 tokens. At this budget, SparseTalk retains 0.80% of SplatTalk's 32,076-token inference input and 0.332% of the mean 77,207-Gaussian dense field, increasing inference throughput while reducing decoded-feature memory 125-fold.
- Abstract（参考訳）: 3Dガウス言語フィールドは3次元視覚的質問応答(VQA)を明示的かつ空間的に基礎づけた表現を提供するが、その密集したセマンティックな特徴はシーン毎に数万の埋め込みを必要とするため、かなりの記憶、記憶、推論コストをもたらす。
下流の推論において,この表現が実際にどの程度必要かを検討する。
完全な埋め込み表現から始まり、以前は探索されていない構造を含むセマンティック埋め込みを、単一の画像等価ブロックの下から8つのビジュアルトークンに体系的に分散する。
本研究では,ランダム,幾何学的,意味的,共同的な空間意味選択戦略を比較し,背景コンテキストを維持しながら検出されたオブジェクトインスタンスにトークン予算を分散するオブジェクトベーススペーシング手法を提案する。
ScanQA と MV-ScanQA の実験は、高密度ガウス言語分野においてかなりの冗長性を示す。
強いVQA性能は数百のセマンティック埋め込みで維持され、元の表現の1%未満である。
オブジェクトベースの選択は他のものとよく似ており、観測される変更は256トークンまでわずかである。
この予算で、SparseTalkは、SplatTalkの32,076-token推論入力の0.80%と平均77,207-Gaussian高密度フィールドの0.332%を保持し、デコードされた125倍のメモリを削減しながら、推論スループットを増大させる。
関連論文リスト
- ATSplat: Compact Feed-forward 3D Gaussian Splatting with Adaptive Token Expansion [60.00320387969695]
ATSplatはフィードフォワード3DGSフレームワークで、3DGS最適化のアダプティブアロケーション機能を復元する。
12の入力画像の解像度が512倍の960ドルから、ATSplatは1つの商用GPUを使用して1秒未満で再構築を完了した。
論文 参考訳（メタデータ） (2026-07-22T17:54:44Z) - SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering [18.541639027941198]
SeGPrunerは、多視点画像を用いた効率的な3Dのための意味認識および幾何学誘導型トークン還元フレームワークである。
推論効率を大幅に改善し、ビジュアルトークンの予算を91%削減し、推論遅延を86%削減する。
論文 参考訳（メタデータ） (2026-03-31T08:44:04Z) - Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens [88.42820935044021]
高次元表現のための最初の離散生成モデルであるCub Discrete Diffusion (CubiD)を述べる。
立方体は高次元離散表現を通してきめ細かいマスキングを行う。
ImageNet-256では、900Mから3.7Bパラメータの強いスケーリング動作を持つ最先端の離散生成を実現している。
論文 参考訳（メタデータ） (2026-03-19T17:59:55Z) - SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations [9.77843053500054]
単分子深度推定とLVM特徴量から3次元オブジェクトクラス表現を構築するための,単純だが効果的な手法を提案する。
入力RGB画像における3次元オブジェクトクラス表現とオブジェクトクラスインスタンスとのアライメントを得るために、勾配降下を用いて最小化できるアライメントエネルギーを定式化する。
提案手法は,SPair-71kデータセットに挑戦する複数のカテゴリにおいて,最先端のマッチング精度を実現する。
論文 参考訳（メタデータ） (2025-03-28T14:14:19Z) - SparseLGS: Sparse View Language Embedded Gaussian Splatting [49.187761358726675]
本研究では3次元シーン理解の課題に対して,ポーズレスでスパースなビュー入力画像を用いたSparseLGSを提案する。
提案手法は, 学習に基づく高密度ステレオモデルを用いて, ポーズフリー, スパース入力を処理する。
実験結果から,SparseLGSは少ない入力でセマンティックフィールドを再構築する際に,同等の品質が得られることがわかった。
論文 参考訳（メタデータ） (2024-12-03T08:18:56Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳（メタデータ） (2024-10-17T07:47:41Z) - GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - SparseOcc: Rethinking Sparse Latent Representation for Vision-Based Semantic Occupancy Prediction [15.331332063879342]
我々はスパースポイントクラウド処理にインスパイアされた効率的な占有ネットワークであるSparseOccを提案する。
SparseOccは、密度の高いベースライン上のFLOPを74.9%減少させる。
また、12.8%から14.1%のmIOUまで精度が向上しており、これは部分的には空のボクセルに対する幻覚を回避できるスパース表現の能力に起因している。
論文 参考訳（メタデータ） (2024-04-15T06:45:06Z) - Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding [2.517953665531978]
オープン語彙クエリタスクのための新しいシーン表現であるLanguage Embedded 3D Gaussiansを紹介する。
我々の表現は、現在の言語埋め込み表現において、最高の視覚的品質と言語クエリの精度を達成する。
論文 参考訳（メタデータ） (2023-11-30T11:50:07Z) - Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly
Supervised 3D Visual Grounding [58.924180772480504]
3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。
弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。
オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
論文 参考訳（メタデータ） (2023-07-18T13:49:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。