論文の概要: Explore In-Context Learning for 3D Point Cloud Understanding
- arxiv url: http://arxiv.org/abs/2306.08659v2
- Date: Wed, 27 Dec 2023 09:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 23:05:51.150757
- Title: Explore In-Context Learning for 3D Point Cloud Understanding
- Title(参考訳): 3Dポイントクラウド理解のためのインコンテキスト学習の探索
- Authors: Zhongbin Fang, Xiangtai Li, Xia Li, Joachim M. Buhmann, Chen Change
Loy, Mengyuan Liu
- Abstract要約: 我々は,特に3Dポイントクラウドにおけるコンテキスト内学習のために設計された,ポイント・イン・コンテキストという新しいフレームワークを紹介した。
一般点サンプリング演算子とタンデムで協調して動作するように慎重に設計したJoint Smplingモジュールを提案する。
提案手法の汎用性と適応性を検証するため,幅広いタスクを扱うための広範囲な実験を行った。
- 参考スコア(独自算出の注目度): 71.20912026561484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rise of large-scale models trained on broad data, in-context
learning has become a new learning paradigm that has demonstrated significant
potential in natural language processing and computer vision tasks. Meanwhile,
in-context learning is still largely unexplored in the 3D point cloud domain.
Although masked modeling has been successfully applied for in-context learning
in 2D vision, directly extending it to 3D point clouds remains a formidable
challenge. In the case of point clouds, the tokens themselves are the point
cloud positions (coordinates) that are masked during inference. Moreover,
position embedding in previous works may inadvertently introduce information
leakage. To address these challenges, we introduce a novel framework, named
Point-In-Context, designed especially for in-context learning in 3D point
clouds, where both inputs and outputs are modeled as coordinates for each task.
Additionally, we propose the Joint Sampling module, carefully designed to work
in tandem with the general point sampling operator, effectively resolving the
aforementioned technical issues. We conduct extensive experiments to validate
the versatility and adaptability of our proposed methods in handling a wide
range of tasks.
- Abstract(参考訳): 広範囲なデータに基づいて訓練された大規模モデルの台頭により、自然言語処理やコンピュータビジョンタスクにおいて大きな可能性を示す新たな学習パラダイムとなった。
一方、インコンテキスト学習は、3d point cloudドメインではまだほとんど未調査である。
マスク付きモデリングは、2Dビジョンにおけるコンテキスト内学習に成功しているが、それを3Dポイントクラウドに直接拡張することは、依然として困難な課題である。
点雲の場合、トークンそのものは、推論中にマスクされる点雲の位置(座標)である。
さらに、前作における位置埋め込みは、不注意に情報漏洩をもたらす可能性がある。
このような課題に対処するために,我々は,特に3d ポイントクラウドにおけるインコンテキスト学習用に設計された point-in-context という新しいフレームワークを導入する。
さらに,一般点サンプリング演算子と協調して動作するよう慎重に設計したジョイントサンプリングモジュールを提案し,上記の技術的課題を効果的に解決する。
提案手法の汎用性と適応性を検証するため,幅広いタスクを扱うための広範囲な実験を行った。
関連論文リスト
- Language-Assisted 3D Scene Understanding [17.663583203177197]
我々は,ポイントクラウド特徴学習(LAST-PCL)のための言語支援アプローチを提案する。
我々は,テキストの先行性を損なうことなく,非冗長性と特徴次元の低減を実現する。
提案手法は意味的に意味のあるポイントクラウドの特徴を学習し、3Dセマンティックセグメンテーション、3Dオブジェクト検出、3Dシーン分類タスクにおける最先端または同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-12-18T18:54:56Z) - PointLLM: Empowering Large Language Models to Understand Point Clouds [67.1783384610417]
PointLLMは人間の指示で色のついたオブジェクトポイントクラウドを理解する。
文脈的に適切な応答を生成し、点雲と常識の把握を図示する。
論文 参考訳(メタデータ) (2023-08-31T17:59:46Z) - Self-supervised Learning for Pre-Training 3D Point Clouds: A Survey [25.51613543480276]
近年,自己管理型ポイントクラウド表現学習が注目されている。
本稿では,DNNを用いた自己教師型ポイントクラウド表現学習に関する包括的調査を行う。
論文 参考訳(メタデータ) (2023-05-08T13:20:55Z) - Point2Vec for Self-Supervised Representation Learning on Point Clouds [66.53955515020053]
Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。
我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
論文 参考訳(メタデータ) (2023-03-29T10:08:29Z) - PointVST: Self-Supervised Pre-training for 3D Point Clouds via
View-Specific Point-to-Image Translation [64.858505571083]
本稿では,翻訳型事前学習フレームワークであるPointVSTを提案する。
3Dポイントクラウドからそれに対応する多様な2Dレンダリング画像へのクロスモーダル変換という,新たな教師付きプレテキストタスクによって駆動される。
論文 参考訳(メタデータ) (2022-12-29T07:03:29Z) - Self-Ensemling for 3D Point Cloud Domain Adaption [29.330315360307374]
本稿では,3次元クラウド領域適応タスクのためのエンドツーエンドの自己組織化ネットワーク(SEN)を提案する。
我々のSENは、平均教師と半教師付き学習の利点を生かし、ソフトな分類損失と一貫性損失を導入している。
我々のSENは、分類タスクとセグメンテーションタスクの両方において最先端の手法より優れています。
論文 参考訳(メタデータ) (2021-12-10T02:18:09Z) - Point Discriminative Learning for Unsupervised Representation Learning
on 3D Point Clouds [54.31515001741987]
3次元点雲上での教師なし表現学習のための点識別学習法を提案する。
我々は、中間レベルとグローバルレベルの特徴に新しい点識別損失を課すことにより、これを達成した。
提案手法は強力な表現を学習し,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2021-08-04T15:11:48Z) - Joint Supervised and Self-Supervised Learning for 3D Real-World
Challenges [16.328866317851187]
ポイントクラウド処理と3D形状理解は、ディープラーニング技術が大きな可能性を実証する難しいタスクである。
ここでは、データ不足と大きなドメインギャップにより教師付き学習が失敗する合成および実世界の点雲を含むいくつかのシナリオについて考察する。
形状分類や部分分割の主課題を学習しながら3次元パズルを解くマルチタスクモデルにより、自己超越を利用して、標準的な特徴表現を豊かにすることを提案する。
論文 参考訳(メタデータ) (2020-04-15T23:34:03Z) - Deep Learning for 3D Point Clouds: A Survey [58.954684611055]
本稿では,ポイントクラウドにおけるディープラーニング手法の最近の進歩を概観する。
3D形状分類、3Dオブジェクトの検出と追跡、3Dポイントクラウドセグメンテーションを含む3つの主要なタスクをカバーしている。
また、いくつかの公開データセットで比較結果を提示する。
論文 参考訳(メタデータ) (2019-12-27T09:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。