論文の概要: FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models

• arxiv url: http://arxiv.org/abs/2312.17051v2
• Date: Wed, 08 Jan 2025 05:26:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:53:37.953182
• Title: FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models
• Title（参考訳）: FILP-3D:事前学習型視覚言語モデルによる3次元Few-shotクラスインクリメンタルラーニングの実現
• Authors: Wan Xu, Tianyu Huang, Tianyu Qu, Guanglei Yang, Yiwen Guo, Wangmeng Zuo,
• Abstract要約: クラス増分学習(class-incremental learning)は、モデルが限られたデータで漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 本稿では,特徴空間の不整合のための冗長特徴除去器 (RFE) と,重要な雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを備えたFILP-3Dフレームワークを紹介する。
• 参考スコア（独自算出の注目度）: 59.13757801286343
• License:
• Abstract: Few-shot class-incremental learning (FSCIL) aims to mitigate the catastrophic forgetting issue when a model is incrementally trained on limited data. However, many of these works lack effective exploration of prior knowledge, rendering them unable to effectively address the domain gap issue in the context of 3D FSCIL, thereby leading to catastrophic forgetting. The Contrastive Vision-Language Pre-Training (CLIP) model serves as a highly suitable backbone for addressing the challenges of 3D FSCIL due to its abundant shape-related prior knowledge. Unfortunately, its direct application to 3D FSCIL still faces the incompatibility between 3D data representation and the 2D features, primarily manifested as feature space misalignment and significant noise. To address the above challenges, we introduce the FILP-3D framework with two novel components: the Redundant Feature Eliminator (RFE) for feature space misalignment and the Spatial Noise Compensator (SNC) for significant noise. RFE aligns the feature spaces of input point clouds and their embeddings by performing a unique dimensionality reduction on the feature space of pre-trained models (PTMs), effectively eliminating redundant information without compromising semantic integrity. On the other hand, SNC is a graph-based 3D model designed to capture robust geometric information within point clouds, thereby augmenting the knowledge lost due to projection, particularly when processing real-world scanned data. Moreover, traditional accuracy metrics are proven to be biased due to the imbalance in existing 3D datasets. Therefore we propose 3D FSCIL benchmark FSCIL3D-XL and novel evaluation metrics that offer a more nuanced assessment of a 3D FSCIL model. Experimental results on both established and our proposed benchmarks demonstrate that our approach significantly outperforms existing state-of-the-art methods.
• Abstract（参考訳）: FSCIL(Few-shot class-incremental Learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 しかし、これらの研究の多くは事前知識の効果的な探索に欠けており、3D FSCILの文脈でドメインギャップの問題に効果的に対処できなかったため、破滅的な忘れを招いた。 Contrastive Vision-Language Pre-Training (CLIP) モデルは、形状に関する事前知識が豊富にあるため、3D FSCILの課題に対処するための非常に適切なバックボーンとして機能する。 残念なことに、その3D FSCILへの直接的な適用は、3Dデータ表現と2D特徴の相容れない部分に直面している。 上記の課題に対処するために,特徴空間の不整合に対する冗長特徴除去器 (RFE) と,大きな雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを用いたFILP-3Dフレームワークを導入する。 RFEは、事前訓練されたモデル(PTM)の特徴空間において、一意の次元的削減を行うことにより、入力点雲とその埋め込みの特徴空間を整列させ、意味的整合性を損なうことなく、効率的に冗長な情報を除去する。 一方、SNCは、点雲内の堅牢な幾何学的情報をキャプチャし、特に実世界のスキャンデータを処理する際に、投影によって失われた知識を増大させるように設計されたグラフベースの3Dモデルである。 さらに、既存の3Dデータセットの不均衡により、従来の精度メトリクスがバイアスがあることが証明されている。 そこで本研究では, 3次元 FSCIL ベンチマーク FSCIL3D-XL と, 3次元 FSCIL モデルのより微妙な評価を行う新しい評価指標を提案する。 確立されたベンチマークと提案したベンチマークによる実験結果から,提案手法が既存の最先端手法を著しく上回っていることが示された。

関連論文リスト

• DM3D: Distortion-Minimized Weight Pruning for Lossless 3D Object Detection [42.07920565812081]
  本稿では,3次元物体検出のための新しいトレーニング後の重み付け手法を提案する。 事前訓練されたモデルにおける冗長パラメータを決定し、局所性と信頼性の両方において最小限の歪みをもたらす。 本フレームワークは,ネットワーク出力の歪みを最小限に抑え,検出精度を最大に維持することを目的とする。
  論文  参考訳（メタデータ） (2024-07-02T09:33:32Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Learning-based Point Cloud Registration for 6D Object Pose Estimation in the Real World [55.7340077183072]
  我々は、ポイントクラウドデータからオブジェクトの6Dポーズを推定するタスクに取り組む。 この課題に対処する最近の学習ベースのアプローチは、合成データセットにおいて大きな成功を収めている。 これらの障害の原因を分析し、ソースとターゲットポイントの雲の特徴分布の違いに遡る。
  論文  参考訳（メタデータ） (2022-03-29T07:55:04Z)
• Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training [45.90045513731704]
  本稿では,革新的でシンプルな3Dネットワーク事前学習フレームワークを再考する。 再設計された3Dネットワークアーキテクチャにより、データ不足の問題に対処するために、修正された自然画像が使用される。 4つのベンチマークデータセットに関する総合的な実験により、提案した事前学習モデルが収束を効果的に加速できることが示されている。
  論文  参考訳（メタデータ） (2022-01-05T03:11:21Z)
• Spatio-temporal Self-Supervised Representation Learning for 3D Point Clouds [96.9027094562957]
  ラベルのないタスクから学習できる時間的表現学習フレームワークを導入する。 幼児が野生の視覚的データからどのように学ぶかに触発され、3Dデータから派生した豊かな手がかりを探索する。 STRLは3Dポイントクラウドシーケンスから2つの時間的関連フレームを入力として、空間データ拡張で変換し、不変表現を自己指導的に学習する。
  論文  参考訳（メタデータ） (2021-09-01T04:17:11Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• I3DOL: Incremental 3D Object Learning without Catastrophic Forgetting [38.7610646073842]
  i3dolはまず、3dオブジェクトの新しいクラスを継続的に学習する。 アダプティブジオメトリックセントロイドモジュールは、識別可能な局所幾何学構造を構築するように設計されています。 局所幾何学構造の寄与度を定量化する幾何学的注意メカニズムが開発された。
  論文  参考訳（メタデータ） (2020-12-16T15:17:51Z)
• Procrustean Regression Networks: Learning 3D Structure of Non-Rigid Objects from 2D Annotations [42.476537776831314]
  非剛体物体の3次元情報を学習できるニューラルネットワークの学習フレームワークを提案する。 提案手法は,Human 3.6M,300-VW,SURREALデータセット上での最先端手法よりも優れた再構成性能を示す。
  論文  参考訳（メタデータ） (2020-07-21T17:29:20Z)
• Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation [107.07047303858664]
  3次元の地平線アノテーションを持つ大規模な人的データセットは、野生では入手が困難である。 既存の2Dデータセットを高品質な3Dポーズマッチングで拡張することで、この問題に対処する。 結果として得られるアノテーションは、3Dのプロシージャネットワークをスクラッチからトレーニングするのに十分である。
  論文  参考訳（メタデータ） (2020-04-07T20:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。