論文の概要: Lens3D: Target-Conditioned Visual Foveation for Fine-Grained 3D Understanding

• arxiv url: http://arxiv.org/abs/2610.06611v1
• Date: Mon, 05 Oct 2026 16:16:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 00:14:19.54631
• Title: Lens3D: Target-Conditioned Visual Foveation for Fine-Grained 3D Understanding
• Title（参考訳）: Lens3D:細粒度3D理解のためのターゲットコンディション型ビジュアルフォベーション
• Abstract要約: 既存の3Dの大規模言語モデルは、しばしば細粒度の属性を見落とし、視覚的に健全なオブジェクトや部分を見落としている。 本稿では,外的視覚支援と知識伝達による細粒度物体の理解を改善するためのLens3Dを提案する。
• 参考スコア（独自算出の注目度）: 22.241280090781874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing 3D large language models often overlook fine-grained attributes and less visually salient objects and parts, even when relevant evidence is present in scene videos. We introduce Lens3D to improve fine-grained object understanding through external visual assistance and knowledge transfer. Its LensUnd pipeline adopts 3D localization to select informative, complementary views for an external 2D vision-language model, supporting fine-grained object captioning, small-object grounding, and fine-grained object question answering. LensDistill transfers the resulting fine-grained knowledge to 3D LLMs through detailed caption supervision, enabling captioning from native inputs without external VLM calls. We also construct LensBench, a held-out evaluation set of 2,068 objects with three silver-standard reference descriptions per object. Experiments with Video-3D LLM and 3DRS demonstrate that LensDistill substantially improves fine-grained object captioning while preserving existing grounding and scene-level QA performance. These results establish the feasibility of transferring externally acquired fine-grained knowledge into native 3D LLMs.
• Abstract（参考訳）: 既存の3D大言語モデルは、シーンビデオに関連性のある証拠が存在する場合でも、細粒度の属性を見落とし、視覚的にまとまったオブジェクトや部品を少なくすることが多い。 本稿では,外的視覚支援と知識伝達による細粒度物体の理解を改善するためのLens3Dを提案する。 LensUndパイプラインは、3Dローカライゼーションを採用して、外部の2D視覚言語モデルに対する情報的補完的なビューを選択し、きめ細かいオブジェクトキャプション、小さなオブジェクトグラウンド、きめ細かいオブジェクト質問応答をサポートする。 LensDistillは、3D LLMの詳細な知識を詳細なキャプション監督を通じて3D LLMに転送し、外部のVLMコールなしでネイティブ入力からのキャプションを可能にする。 また、2,068個のオブジェクトのホールドアウト評価セットであるLensBenchを3つの銀標準参照記述で構築する。 Video-3D LLMと3DRSの実験により、LensDistillは既存の接地とシーンレベルのQA性能を維持しながら、細粒度オブジェクトキャプションを大幅に改善することを示した。 これらの結果から,外部から取得した微粒な知識をネイティブ3次元LLMに転送する可能性が確認された。

関連論文リスト

• PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding [41.210392758568126]
  PAR3Dは、モデルが3Dシーンでオブジェクトとその部分を理解し、推論し、グラウンドすることを可能にする、統合された部分認識3D-MLLMフレームワークである。 提案手法は,部分レベルの質問応答とセグメンテーションの参照を大幅に改善するとともに,オブジェクトレベルの視覚言語タスクに対して高い性能を実現する。
  論文  参考訳（メタデータ） (2026-06-04T17:59:04Z)
• Chat-Scene++: Exploiting Context-Rich Object Identification for 3D LLM [71.01178857331969]
  Chat-Scene++は3Dシーンをコンテキストリッチなオブジェクトシーケンスとして表現するMLLMフレームワークである。 Chat-Scene++は、シーンをコンテキスト意味を持ったオブジェクトのシーケンスとして構成することにより、オブジェクト中心の表現とインタラクションを可能にする。 Chat-Scene++は5つの主要な3Dビジョン言語ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T04:16:04Z)
• MLLMs Need 3D-Aware Representation Supervision for Scene Understanding [14.083262551714133]
  3DRSは、事前訓練された3D基礎モデルから監督を導入することでMLLM 3D表現学習を強化するフレームワークである。 本手法は3次元モデルから抽出したリッチな3次元知識とMLLMの視覚的特徴を一致させ,シーン理解を効果的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T17:58:24Z)
• NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation [14.046423852723615]
  本稿では,3次元ガウシアン・スプレイティングに基づくハードビジュアル・プロンプト手法を導入し,対象物に関する多様な視点を創出する。 提案手法は現実的な3次元視点をシミュレートし,既存のハード・ビジュアル・プロンプトを効果的に増強する。 このトレーニングフリー戦略は、事前のハード・ビジュアル・プロンプトとシームレスに統合され、オブジェクト記述的特徴が強化される。
  論文  参考訳（メタデータ） (2025-04-20T14:39:27Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。