論文の概要: PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings
- arxiv url: http://arxiv.org/abs/2409.15832v2
- Date: Sun, 18 May 2025 02:27:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:10.23581
- Title: PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings
- Title（参考訳）: PseudoNeg-MAE:条件付き擬似負の埋め込みを用いた自己教師付きポイントクラウド学習
- Authors: Sutharsan Mahendren, Saimunur Rahman, Piotr Koniusz, Tharindu Fernando, Sridha Sridharan, Clinton Fookes, Peyman Moghadam,
- Abstract要約: PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
- 参考スコア（独自算出の注目度）: 55.55445978692678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose PseudoNeg-MAE, a novel self-supervised learning framework that enhances global feature representation of point cloud masked autoencoder by making them both discriminative and sensitive to transformations. Traditional contrastive learning methods focus on achieving invariance, discarding transformation-specific information. Recent approaches incorporate transformation sensitivity by explicitly modeling relationships between original and transformed inputs. However, they report an invariant-collapse phenomenon, where the predictor degenerates into identity mappings, resulting in latent representations that have limited variation across transformations. We propose a novel loss that explicitly penalizes invariant collapse, enabling the network to capture richer transformation cues while preserving discriminative representations. PseudoNeg-MAE uses a parametric network COPE, which learns the localized displacements caused by transformations within the latent space. However, jointly training COPE with the MAE leads to undesirable trivial solutions where COPE outputs collapse to an identity. To address this, we propose a loss that uses transformation-conditioned pseudo-negatives, to penalize such trivial invariant solutions. We validate PseudoNeg-MAE on shape classification and relative pose estimation tasks, where it achieves competitive performance on the ModelNet40 and ScanObjectNN datasets under challenging evaluation protocols and demonstrates superior accuracy in estimating relative poses compared to supervised methods.
- Abstract（参考訳）: 我々は,PseudoNeg-MAEを提案する。PseudoNeg-MAEは,PseudoNeg-MAEという,PseudoNeg-MAEの自己教師型学習フレームワークである。
従来のコントラスト学習手法は、不変性を達成し、変換固有の情報を捨てることに重点を置いている。
近年のアプローチでは、元の入力と変換された入力の関係を明示的にモデル化することで変換感度を取り入れている。
しかし、彼らは不変-崩壊現象を報告し、予測器は恒等写像に縮退し、変換の幅に制限のある潜在表現をもたらす。
本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
PseudoNeg-MAEはパラメトリックネットワークCOPEを使用して、潜時空間内の変換によって生じる局所的な変位を学習する。
しかし、COPEをMAEと共同で訓練することで、COPE出力がアイデンティティに崩壊する望ましくない自明な解決につながる。
これを解決するために、変換条件付き擬似負の損失を提案し、そのような自明な不変解をペナルタイズする。
我々はPseudoNeg-MAEを形状分類と相対ポーズ推定のタスクで検証し、挑戦的な評価プロトコルの下でModelNet40とScanObjectNNデータセットの競合性能を達成し、教師付き手法と比較して相対ポーズの推定精度が優れていることを示した。
関連論文リスト
- Exploring Stronger Transformer Representation Learning for Occluded Person Re-Identification [2.552131151698595]
我々はトランスフォーマーに基づく人物識別フレームワークであるSSSC-TransReIDを組み合わせた新しい自己監督・監督手法を提案した。
我々は、ネガティブなサンプルや追加の事前学習なしに、人物の再識別のための特徴表現を強化することができる自己教師付きコントラスト学習ブランチを設計した。
提案モデルでは, 平均平均精度(mAP) とランク1の精度において, 最先端のReID手法よりも優れたRe-ID性能が得られ, 高いマージンで性能が向上する。
論文 参考訳（メタデータ） (2024-10-21T03:17:25Z) - QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。
これにより、ネットワークは微妙な入力摂動から学習することができる。
量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
論文 参考訳（メタデータ） (2024-05-22T17:34:18Z) - Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。
提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-12-19T15:34:52Z) - Adaptive Face Recognition Using Adversarial Information Network [57.29464116557734]
顔認識モデルは、トレーニングデータがテストデータと異なる場合、しばしば退化する。
本稿では,新たな敵情報ネットワーク(AIN)を提案する。
論文 参考訳（メタデータ） (2023-05-23T02:14:11Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Learning Invariant Representation via Contrastive Feature Alignment for
Clutter Robust SAR Target Recognition [10.993101256393679]
本稿ではコントラスト的特徴アライメント(Contrastive Feature Alignment, CFA)と呼ばれる手法を提案し, 頑健な認識のための不変表現を学習する。
CFAは、分類とCWMSEの損失を組み合わせて、モデルを共同で訓練する。
提案したCFAは、分類とCWMSE損失を併用してモデルをトレーニングし、不変対象表現の漸進的学習を可能にする。
論文 参考訳（メタデータ） (2023-04-04T12:35:33Z) - Interpolation-based Correlation Reduction Network for Semi-Supervised
Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。
提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。
この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文 参考訳（メタデータ） (2022-06-06T14:26:34Z) - Expert-Guided Symmetry Detection in Markov Decision Processes [0.0]
MDP力学が不変である状態-作用空間の変換の存在を検出することを目的としたパラダイムを提案する。
その結果, 検出した対称性を用いて得られたデータを用いてデータセットを拡張した場合, モデル分布シフトが小さくなることがわかった。
論文 参考訳（メタデータ） (2021-11-19T16:12:30Z) - Selective Pseudo-Labeling with Reinforcement Learning for
Semi-Supervised Domain Adaptation [116.48885692054724]
半教師付きドメイン適応のための強化学習に基づく選択擬似ラベル法を提案する。
高精度かつ代表的な擬似ラベルインスタンスを選択するための深層Q-ラーニングモデルを開発する。
提案手法は, SSDAのベンチマークデータセットを用いて評価し, 全ての比較手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2020-12-07T03:37:38Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。