論文の概要: PerLA: Perceptive 3D Language Assistant

• arxiv url: http://arxiv.org/abs/2411.19774v1
• Date: Fri, 29 Nov 2024 15:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:23:03.646034
• Title: PerLA: Perceptive 3D Language Assistant
• Title（参考訳）: PerLA: 知覚的な3D言語アシスタント
• Authors: Guofeng Mei, Wei Lin, Luigi Riz, Yujiao Wu, Fabio Poiesi, Yiming Wang,
• Abstract要約: PerLAは3D言語アシスタントであり、詳細とコンテキストの両方をより知覚しやすいように設計されている。 ヒルベルト曲線を通して点雲の局所性を保存する新しいアルゴリズムを提案する。 また、トレーニングの安定性を促進するために、局所的な表現コンセンサスに対する新たな損失も導入する。
• 参考スコア（独自算出の注目度）: 14.960368387295395
• License:
• Abstract: Enabling Large Language Models (LLMs) to understand the 3D physical world is an emerging yet challenging research direction. Current strategies for processing point clouds typically downsample the scene or divide it into smaller parts for separate analysis. However, both approaches risk losing key local details or global contextual information. In this paper, we introduce PerLA, a 3D language assistant designed to be more perceptive to both details and context, making visual representations more informative for the LLM. PerLA captures high-resolution (local) details in parallel from different point cloud areas and integrates them with (global) context obtained from a lower-resolution whole point cloud. We present a novel algorithm that preserves point cloud locality through the Hilbert curve and effectively aggregates local-to-global information via cross-attention and a graph neural network. Lastly, we introduce a novel loss for local representation consensus to promote training stability. PerLA outperforms state-of-the-art 3D language assistants, with gains of up to +1.34 CiDEr on ScanQA for question answering, and +4.22 on ScanRefer and +3.88 on Nr3D for dense captioning.\url{https://gfmei.github.io/PerLA/}
• Abstract（参考訳）: 三次元物理世界を理解するための大規模言語モデル(LLM)の導入は、新しくて挑戦的な研究方向である。 ポイントクラウドを処理するための現在の戦略は、典型的にはシーンを縮小するか、より小さな部分に分割して分析する。 しかし、両方のアプローチは、主要なローカル詳細やグローバルなコンテキスト情報を失うリスクがある。 本稿では,3次元言語アシスタントPerLAについて述べる。 PerLAは、異なるポイントクラウド領域から並列に高解像度(ローカル)の詳細をキャプチャし、低解像度全ポイントクラウドから得られる(グローバル)コンテキストと統合する。 本稿では,ヒルベルト曲線を通して点雲の局所性を保存し,クロスアテンションとグラフニューラルネットワークを用いて局所-グローバル情報を効果的に集約するアルゴリズムを提案する。 最後に、トレーニング安定性を促進するために、局所的な表現コンセンサスに対する新たな損失を導入する。 PerLAは最先端の3D言語アシスタントより優れており、ScanQAでは+1.34 CiDEr、ScanReferでは+4.22、Nr3Dでは+3.88である。 \url{https://gfmei.github.io/PerLA/}

関連論文リスト

• When LLMs step into the 3D World: A Survey and Meta-Analysis of 3D Tasks via Multi-modal Large Language Models [113.18524940863841]
  本調査では,大規模言語モデルによる3Dデータの処理,理解,生成を可能にする方法論の概要について概説する。 我々の研究は、点雲からニューラル放射場(NeRF)まで、様々な3次元データ表現にまたがっている。 3Dシーン理解、キャプション、質問応答、対話などのタスクにおいて、LLMとの統合を検討する。
  論文  参考訳（メタデータ） (2024-05-16T16:59:58Z)
• UniM-OV3D: Uni-Modality Open-Vocabulary 3D Scene Understanding with Fine-Grained Feature Representation [46.998093729036334]
  我々は,UniM-OV3Dという,マルチモーダルなオープン・ボキャブラリ・シーン理解ネットワークを提案する。 ポイントクラウドのグローバル機能とローカル機能をよりよく統合するために、階層的なポイントクラウド機能抽出モジュールを設計する。 キャプションからの粗い点列表現の学習を容易にするために,階層型3Dキャプションペアの利用を提案する。
  論文  参考訳（メタデータ） (2024-01-21T04:13:58Z)
• Text2Loc: 3D Point Cloud Localization from Natural Language [49.01851743372889]
  我々は,いくつかの言語学的記述に基づく3次元点群局所化の問題に取り組む。 我々は,ポイントとテキスト間の意味的関係を完全に解釈する新しいニューラルネットワークText2Locを導入する。 Text2Locは、KITTI360Poseデータセットの最先端技術に対して最大2倍のローカライゼーション精度を向上する。
  論文  参考訳（メタデータ） (2023-11-27T16:23:01Z)
• PointLLM: Empowering Large Language Models to Understand Point Clouds [63.39876878899682]
  PointLLMは人間の指示で色のついたオブジェクトポイントクラウドを理解する。 文脈的に適切な応答を生成し、点雲と常識の把握を図示する。
  論文  参考訳（メタデータ） (2023-08-31T17:59:46Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• RegionPLC: Regional Point-Language Contrastive Learning for Open-World 3D Scene Understanding [46.253711788685536]
  複数の2次元基礎モデルから派生した3次元視覚言語対を融合する3次元認識型SFusion戦略を導入する。 我々は、堅牢で効果的な3D学習を実現するために、地域対応のポイント識別型コントラスト学習目標を考案する。 我々のモデルは、セマンティックスとインスタンスセグメンテーションにおいて、平均17.2%と9.1%の3Dオープンワールドシーン理解アプローチよりも優れている。
  論文  参考訳（メタデータ） (2023-04-03T13:30:04Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization [56.15308829924527]
  生の3D点から直接3次元特徴の検出と記述を共同で学習するシームズネットワークを提案する。 3次元キーポイントを検出するために,局所的な記述子の識別性を教師なしで予測する。 各種ベンチマーク実験により,本手法はグローバルポイントクラウド検索とローカルポイントクラウド登録の両面で競合する結果が得られた。
  論文  参考訳（メタデータ） (2020-07-17T20:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。