論文の概要: CMIP-CIL: A Cross-Modal Benchmark for Image-Point Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2504.08422v1
• Date: Fri, 11 Apr 2025 10:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:18:48.108262
• Title: CMIP-CIL: A Cross-Modal Benchmark for Image-Point Class Incremental Learning
• Title（参考訳）: CMIP-CIL:イメージポイント・インクリメンタル・ラーニングのためのクロスモーダルベンチマーク
• Authors: Chao Qi, Jianqin Yin, Ren Zhang,
• Abstract要約: 画像ポイントクラスインクリメンタル学習は、3Dポイントビジョンロボットが2D画像からカテゴリ知識を継続的に学習するのに役立つ。 本研究はまず,CMIP-CILベンチマークの提案と,このクロスモーダルな破滅的な忘れ問題を軽減することを目的として,このクロスモーダルなタスクについて検討する。 マスクされた点雲とコントラスト学習フレームワーク内の多視点画像を事前学習し、画像-点対応の一般化による視覚モデルを強化する。
• 参考スコア（独自算出の注目度）: 10.936166435599572
• License:
• Abstract: Image-point class incremental learning helps the 3D-points-vision robots continually learn category knowledge from 2D images, improving their perceptual capability in dynamic environments. However, some incremental learning methods address unimodal forgetting but fail in cross-modal cases, while others handle modal differences within training/testing datasets but assume no modal gaps between them. We first explore this cross-modal task, proposing a benchmark CMIP-CIL and relieving the cross-modal catastrophic forgetting problem. It employs masked point clouds and rendered multi-view images within a contrastive learning framework in pre-training, empowering the vision model with the generalizations of image-point correspondence. In the incremental stage, by freezing the backbone and promoting object representations close to their respective prototypes, the model effectively retains and generalizes knowledge across previously seen categories while continuing to learn new ones. We conduct comprehensive experiments on the benchmark datasets. Experiments prove that our method achieves state-of-the-art results, outperforming the baseline methods by a large margin.
• Abstract（参考訳）: 画像ポイントクラスインクリメンタル学習は、3Dポイントビジョンロボットが2D画像からカテゴリ知識を継続的に学習し、動的環境における知覚能力を向上させるのに役立つ。 しかし、いくつかの漸進的な学習手法は、非モーダルな忘れに対処するが、非モーダルなケースでは失敗する。 本研究はまず,CMIP-CILベンチマークの提案と,このクロスモーダルな破滅的な忘れ問題を軽減することを目的として,このクロスモーダルなタスクについて検討する。 マスクされた点雲とコントラスト学習フレームワーク内の多視点画像を事前学習し、画像-点対応の一般化による視覚モデルを強化する。 漸進的な段階では、バックボーンを凍結し、それぞれのプロトタイプに近いオブジェクト表現を促進させることで、モデルは、新しいものを学び続けながら、これまで見られたカテゴリの知識を効果的に保持し、一般化する。 ベンチマークデータセットに関する包括的な実験を行う。 実験により,本手法が最先端の成果を達成し,ベースライン法を大きなマージンで上回ることを示す。

関連論文リスト

• Is Contrastive Distillation Enough for Learning Comprehensive 3D Representations? [55.99654128127689]
  クロスモーダル・コントラスト蒸留は近年,有効3次元表現の学習のために研究されている。 既存の手法は主にモーダリティ共有の特徴に焦点を合わせ、事前学習過程におけるモーダリティ固有の特徴を無視している。 本稿では,これらの欠点に対処する新しいフレームワークCMCRを提案する。
  論文  参考訳（メタデータ） (2024-12-12T06:09:49Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• Continual Vision-Language Representation Learning with Off-Diagonal Information [112.39419069447902]
  CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。 本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
  論文  参考訳（メタデータ） (2023-05-11T08:04:46Z)
• Vision Learners Meet Web Image-Text Pairs [32.36188289972377]
  本研究では,ノイズの多いWebソースと画像テキストのペアデータに対する自己教師付き事前学習について検討する。 マスク付きトレーニング目標を用いたシングルモーダルトレーニングや,画像テキストコンストラシティブトレーニングを用いたマルチモーダルトレーニングなど,さまざまな手法を比較した。 我々は、スケーラブルなWebソース画像テキストデータから学習する新しいビジュアル表現事前学習手法MUlti-modal Generator(MUG)を提案する。
  論文  参考訳（メタデータ） (2023-01-17T18:53:24Z)
• Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis [43.13887916301742]
  本稿では、ポイントクラウド分析を促進するために、シンプルだが効果的なポイントクラウドクロスモダリティトレーニング(PointCMT)戦略を導入する。 ビューイメージから補助的知識を効果的に獲得するために,教師学生のための枠組みを開発し,知識蒸留問題としてクロスモーダル学習を定式化する。 我々は、魅力的なバックボーン、すなわちPointCMT、PointNet++、PointMLPを備えた様々なデータセットにおいて、大きな利益を検証した。
  論文  参考訳（メタデータ） (2022-10-09T09:35:22Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Rectifying the Shortcut Learning of Background: Shared Object Concentration for Few-Shot Image Recognition [101.59989523028264]
  Few-Shot画像分類は、大規模なデータセットから学んだ事前学習された知識を利用して、一連の下流分類タスクに取り組むことを目的としている。 本研究では,Few-Shot LearningフレームワークであるCOSOCを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:46:41Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization [33.36330493757669]
  本研究では2次元人間のポーズから、ポーズ依存とビュー依存因子を分離する新しい表現学習手法を提案する。 異なる視点から実行された同じポーズの相互情報を最大化する相互情報(CV-MIM)を用いてネットワークを訓練する。 CV-MIMは、シングルショットのクロスビュー設定において、競合する他の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2020-12-02T18:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。