論文の概要: Meta Episodic learning with Dynamic Task Sampling for CLIP-based Point Cloud Classification

• arxiv url: http://arxiv.org/abs/2404.00857v1
• Date: Mon, 1 Apr 2024 01:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 01:31:23.546715
• Title: Meta Episodic learning with Dynamic Task Sampling for CLIP-based Point Cloud Classification
• Title（参考訳）: CLIPに基づくポイントクラウド分類のための動的タスクサンプリングによるメタエピソード学習
• Authors: Shuvozit Ghose, Yang Wang,
• Abstract要約: 本稿では,CLIPに基づくポイントクラウド分類のためのメタエポゾディック学習フレームワークを提案する。 性能記憶に基づく動的タスクサンプリングをエピソード内に導入する。 実験の結果、ModelNet40とScanobjectNNデータセットの平均パフォーマンスは36%向上した。
• 参考スコア（独自算出の注目度）: 6.195058023850564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Point cloud classification refers to the process of assigning semantic labels or categories to individual points within a point cloud data structure. Recent works have explored the extension of pre-trained CLIP to 3D recognition. In this direction, CLIP-based point cloud models like PointCLIP, CLIP2Point have become state-of-the-art methods in the few-shot setup. Although these methods show promising performance for some classes like airplanes, desks, guitars, etc, the performance for some classes like the cup, flower pot, sink, nightstand, etc is still far from satisfactory. This is due to the fact that the adapter of CLIP-based models is trained using randomly sampled N-way K-shot data in the standard supervised learning setup. In this paper, we propose a novel meta-episodic learning framework for CLIP-based point cloud classification, addressing the challenges of limited training examples and sampling unknown classes. Additionally, we introduce dynamic task sampling within the episode based on performance memory. This sampling strategy effectively addresses the challenge of sampling unknown classes, ensuring that the model learns from a diverse range of classes and promotes the exploration of underrepresented categories. By dynamically updating the performance memory, we adaptively prioritize the sampling of classes based on their performance, enhancing the model's ability to handle challenging and real-world scenarios. Experiments show an average performance gain of 3-6\% on ModelNet40 and ScanobjectNN datasets in a few-shot setup.
• Abstract（参考訳）: ポイントクラウド分類は、ポイントクラウドデータ構造内の個々のポイントにセマンティックラベルやカテゴリを割り当てるプロセスを指す。 最近の研究は、事前訓練されたCLIPから3D認識への拡張を探求している。 この方向では、PointCLIPやCLIP2PointといったCLIPベースのポイントクラウドモデルが、数ショットのセットアップで最先端のメソッドになっている。 これらの手法は、飛行機、机、ギターなどの一部のクラスでは有望なパフォーマンスを示すが、カップ、花鍋、シンク、ナイトスタンドなど一部のクラスでは、まだ満足できない。 これは、CLIPベースのモデルのアダプタが、標準教師付き学習設定においてランダムにサンプル化されたNウェイKショットデータを用いて訓練されているためである。 本稿では,CLIPベースのポイントクラウド分類のためのメタエポゾディック学習フレームワークを提案する。 さらに,パフォーマンスメモリに基づく動的タスクサンプリングも導入する。 このサンプリング戦略は、未知のクラスをサンプリングすることの課題に効果的に対処し、モデルが多様なクラスから学習し、未表現のカテゴリの探索を促進する。 パフォーマンスメモリを動的に更新することにより、パフォーマンスに基づいてクラスのサンプリングを適応的に優先順位付けし、挑戦的で現実的なシナリオを扱うモデルの能力を高めます。 実験では、ModelNet40とScanobjectNNデータセットを数ショットで平均3～6倍のパフォーマンス向上を示す。

関連論文リスト

• Test-Time Adaptation for Point Cloud Upsampling Using Meta-Learning [17.980649681325406]
  本稿では,点群アップサンプリングのモデル一般性を高めるためのテスト時間適応手法を提案する。 提案手法はメタラーニングを利用してテスト時間適応のためのネットワークパラメータを明示的に学習する。 我々のフレームワークは汎用的であり、既存のバックボーンネットワークをポイントクラウドのアップサンプリングにプラグイン・アンド・プレイで適用することができる。
  論文  参考訳（メタデータ） (2023-08-31T06:44:59Z)
• DiffCLIP: Leveraging Stable Diffusion for Language Grounded 3D Classification [19.40810553327253]
  本稿では、視覚枝の領域ギャップを最小限に抑えるために、制御ネットとの安定拡散を取り入れた新しい事前学習フレームワークであるDiffCLIPを提案する。 ModelNet10、ModelNet40、ScanObjectNNデータセットの実験は、DiffCLIPが3D理解に強力な能力を持っていることを示している。
  論文  参考訳（メタデータ） (2023-05-25T11:55:38Z)
• FreePoint: Unsupervised Point Cloud Instance Segmentation [72.64540130803687]
  点クラウド上の教師なしクラス非依存のインスタンスセグメンテーションを探索するためのFreePointを提案する。 我々は、座標、色、そして自己監督の深い特徴を組み合わせることで、点の特徴を表現する。 ポイント機能に基づいて、ポイントクラウドを擬似ラベルとして粗いインスタンスマスクに分割し、ポイントクラウドインスタンスセグメンテーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-05-11T16:56:26Z)
• Instance-aware Dynamic Prompt Tuning for Pre-trained Point Cloud Models [64.49254199311137]
  本稿では,事前学習点クラウドモデルのための新しいインスタンス対応動的プロンプトチューニング(IDPT)戦略を提案する。 IDPTの本質は、各ポイントクラウドインスタンスのセマンティックな事前特徴を知覚する動的プロンプト生成モジュールを開発することである。 実験では、IDPTはトレーニング可能なパラメータのわずか7%で、ほとんどのタスクにおいて完全な微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-04-14T16:03:09Z)
• PointCLIMB: An Exemplar-Free Point Cloud Class Incremental Benchmark [11.992472563628283]
  私たちは、Point Cloudsでの卓越したフリークラスインクリメンタルラーニングを活用するパイオニアです。 3D Exemplar自由クラスインクリメンタルラーニングのためのベンチマークをセットアップする。 3D-Exemplar Free Class Incremental Learning フレームワーク上での各種バックボーンの性能について検討する。
  論文  参考訳（メタデータ） (2023-04-13T18:47:29Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• PointHop++: A Lightweight Learning Model on Point Sets for 3D Classification [55.887502438160304]
  ポイントホップ法は、Zhangらによって、教師なし特徴抽出を伴う3Dポイントクラウド分類のために提案された。 1)モデルパラメータ数の観点からモデルの複雑さを減らし,2)クロスエントロピー基準に基づいて自動的に識別特徴を順序付けする。 ModelNet40ベンチマークデータセットで実施した実験により、PointHop++法がディープニューラルネットワーク(DNN)ソリューションと同等に動作し、他の教師なし特徴抽出法を上回る性能を示す。
  論文  参考訳（メタデータ） (2020-02-09T04:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。