Fugu-MT 論文翻訳(概要): Octrees as an Explicit 3D Language

論文の概要: Octrees as an Explicit 3D Language

arxiv url: http://arxiv.org/abs/2610.02388v1
Date: Thu, 01 Oct 2026 19:10:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:14:30.055064
Title: Octrees as an Explicit 3D Language
Title（参考訳）: 明示的な3D言語としてのOctrees
Abstract要約: 既存の3D大言語モデル(LLM)は、形状を潜在コードブックインデックスやコーディネートテキストに圧縮し、モデルが観察するものから空間構造を除去する。ここでは、両方の制限に対処するOctoLLMを示す。完全な微調整よりもはるかに少ないパラメータを訓練するが、統一されたマルチモーダルLCM間で新しい最先端の技術を設定できる。
参考スコア（独自算出の注目度）: 46.76454976308265
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing 3D large language models (LLMs) compromise on two fronts: they compress shapes into latent codebook indices or coordinate text, which removes spatial structure from what the model observes, and they acquire the 3D modality by fine-tuning the backbone, which overwrites its general language ability. We present OctLLM, which addresses both limitations. Geometry enters as an explicit 3D sequence of octree occupancy tokens. However, full octree sequences grow rapidly with depth; OctLLM therefore randomly empties penultimate-level nodes and omits descendants while preserving shape, yielding a shorter coordinate- and depth-anchored Sparse Octree (S-Octree) for position-aware mask-modeling generation and 3D understanding. On the other front, existing methods introduce a new modality with full fine-tuning or LoRA, but full fine-tuning is costly, LoRA limits 3D capacity, and both modify the language pathway. OctLLM instead adds 3D capacity in parameters separate from the pretrained ones: mesh tokens are routed through independent trainable branches in a subset of blocks while text and image tokens retain the frozen vision-language pathway, and the two streams interact through shared self-attention. It trains far fewer parameters than full fine-tuning, yet sets a new state of the art among unified multimodal LLMs, lowering image-to-3D FID by $17.4\%$ and raising render-grounded captioning by $28.7$ points over ShapeLLM-Omni, while matching the backbone on general language benchmarks.
Abstract（参考訳）: 既存の3D大言語モデル(LLM)は、2つの面で妥協する: 形状をラテントコードブックインデックスやコーディネートテキストに圧縮し、モデルが観察するものから空間構造を取り除き、バックボーンを微調整して3Dモダリティを取得し、その一般的な言語能力を上書きする。ここでは、両方の制限に対処するOctoLLMを示す。幾何学はオクツリー占有トークンの明示的な3次元配列として現れる。しかし、全オクツリー配列は深度とともに急速に成長するので、OcLLMは不規則に垂直なノードを空にし、形状を保ちながら子孫を省略し、位置認識マスクモデル生成と3次元理解のための座標および深さアンコールされたスパースオクストリー(S-Octree)を短くする。一方、既存の手法では、完全な微調整やLoRAで新しいモダリティを導入するが、完全な微調整はコストがかかり、LoRAは3Dキャパシティを制限し、言語パスを変更する。メッシュトークンはブロックのサブセット内の独立したトレーニング可能なブランチを介してルーティングされ、テキストと画像トークンは凍結された視覚言語パスを保持し、二つのストリームは共有された自己アテンションを介して相互作用する。完全な微調整よりもはるかに少ないパラメータを訓練するが、統一されたマルチモーダル LLM の中で新しい最先端の状態を設定し、画像から3D FID を 17.4 % で下げ、シェープLLM-Omni よりも28.7 ポイントのレンダリンググラウンドキャプションを上昇させた。

関連論文リスト

Imagine3D-LLM: Teaching MLLMs to Imagine 3D Scenes Before Answering [117.00090778730738]
マルチビュー画像から3次元世界を考えることは、マルチモーダル大言語モデルにとって根本的な課題である。シーンのコンパクトな3D表現を組み立てることを学ぶMLLMであるImagine3D-LLMを紹介する。本研究では,複数の空間的推論と3次元理解ベンチマークにおいて,Imagine3D-LLMが従来手法より一貫して優れていたことを示す。
論文参考訳（メタデータ） (2026-09-29T17:59:52Z)
ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation [6.660269100200303]
統一された3Dファウンデーションモデルは、単一のバックボーン内で3Dアセットを生成し、言語でそれらを推論することを目指している。 ELSA3Dは, 弾性的セマンティックアンカー, 言語構造, 幾何学的推論を, 整合した抽象スケールと共同で扱うことで, この問題に対処する統一3Dモデルである。軽量なブロック単位ルータは計算と推論の両方をエラスティックにし、どのテキストトークンが幾何スケールのアンカーをインスタンス化するかを選択する。
論文参考訳（メタデータ） (2026-07-07T17:59:50Z)
LangFlash: Feed-forward 3D Language Gaussian Splatting from Sparse Unposed Images [30.52329450141629]
LangFlashは3D言語ガウススプティングのためのフィードフォワードフレームワークである。 LangFlashは、単一の前方パスでジオメトリとセマンティクスを直接予測する。本稿では,グローバルな意味辞書と局所的に変化する原単位の重みを結合したスパース意味符号化方式を提案する。
論文参考訳（メタデータ） (2026-05-22T06:59:00Z)
Omni123: Exploring 3D Native Foundation Models with Limited 3D Data by Unifying Text to 2D and 3D Generation [15.607138815246387]
Omni123は、テキストから2D、テキストから3D生成を単一の自動回帰フレームワークに統合する3Dネイティブ基盤モデルである。実験により、Omni123はテキストガイドによる3D生成と編集を大幅に改善し、マルチモーダルな3Dワールドモデルへのスケーラブルなパスを示す。
論文参考訳（メタデータ） (2026-04-02T17:29:38Z)
Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation [91.2768117730855]
一般化された3D参照式(3D-GRES)は、記述が複数またはゼロのターゲットと一致する場合でも、自然言語に基づいて3Dシーン内のオブジェクトをローカライズする。既存の方法はスパース・ポイント・クラウドにのみ依存しており、きめ細かい説明のためのリッチ・ビジュアル・セマンティクスが欠如している。 HCF-RESは2つの重要なイノベーションを持つマルチモーダルフレームワークである。
論文参考訳（メタデータ） (2026-03-06T13:09:29Z)
PatchAlign3D: Local Feature Alignment for Dense 3D Shape understanding [67.15800065888887]
現在の3次元形状の基礎モデルは、グローバルなタスク(検索、分類)において優れているが、局所的な部分レベルの推論には不十分である。本稿では,ポイントクラウドから直接,言語対応のパッチレベル機能を生成するエンコーダのみの3Dモデルを提案する。我々の3Dエンコーダは、テストタイムのマルチビューレンダリングなしで高速なシングルパス推論によるゼロショット3D部分分割を実現する。
論文参考訳（メタデータ） (2026-01-05T18:55:45Z)
Point Linguist Model: Segment Any Object via Bridged Large 3D-Language Model [51.02616473941499]
大規模言語モデル(LLM)による3Dオブジェクトのセグメンテーションは、その広範囲なセマンティクス、タスクの柔軟性、強力な一般化により、広く普及しているパラダイムとなっている。 LLMは高レベルなセマンティックトークンを処理し、3次元の点雲は密度の高い幾何学的構造のみを伝達する。本稿では,LLMと高密度3次元点雲の間の表現ギャップを橋渡しする一般フレームワークであるポイント言語モデル(PLM)を提案する。
論文参考訳（メタデータ） (2025-09-09T15:01:28Z)
3D CoCa: Contrastive Learners are 3D Captioners [10.132943642539828]
3Dキャプション(3Dキャプション)は、自然言語による3Dシーンの内容を記述することを目的としている。対照的な視覚言語学習と3Dキャプション生成をシームレスに組み合わせた,新しい統合フレームワークである3D CoCaを提案する。
論文参考訳（メタデータ） (2025-04-13T11:10:47Z)
XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
論文参考訳（メタデータ） (2024-11-20T12:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。