論文の概要: Beyond Prototypes: Semantic Anchor Regularization for Better Representation Learning

• arxiv url: http://arxiv.org/abs/2312.11872v2
• Date: Sun, 4 Feb 2024 14:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 03:28:17.314179
• Title: Beyond Prototypes: Semantic Anchor Regularization for Better Representation Learning
• Title（参考訳）: beyond prototypes: より良い表現学習のためのセマンティックアンカー正規化
• Authors: Yanqi Ge, Qiang Nie, Ye Huang, Yong Liu, Chengjie Wang, Feng Zheng, Wen Li, Lixin Duan
• Abstract要約: 表現学習の最終的な目標の1つは、クラス内のコンパクトさとクラス間の十分な分離性を達成することである。 本稿では,機能セントロイドとして機能する事前定義されたクラスアンカーを用いて,特徴学習を一方向ガイドする新しい視点を提案する。 提案したSemantic Anchor Regularization (SAR) は,既存モデルのプラグアンドプレイ方式で使用することができる。
• 参考スコア（独自算出の注目度）: 82.29761875805369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the ultimate goals of representation learning is to achieve compactness within a class and well-separability between classes. Many outstanding metric-based and prototype-based methods following the Expectation-Maximization paradigm, have been proposed for this objective. However, they inevitably introduce biases into the learning process, particularly with long-tail distributed training data. In this paper, we reveal that the class prototype is not necessarily to be derived from training features and propose a novel perspective to use pre-defined class anchors serving as feature centroid to unidirectionally guide feature learning. However, the pre-defined anchors may have a large semantic distance from the pixel features, which prevents them from being directly applied. To address this issue and generate feature centroid independent from feature learning, a simple yet effective Semantic Anchor Regularization (SAR) is proposed. SAR ensures the interclass separability of semantic anchors in the semantic space by employing a classifier-aware auxiliary cross-entropy loss during training via disentanglement learning. By pulling the learned features to these semantic anchors, several advantages can be attained: 1) the intra-class compactness and naturally inter-class separability, 2) induced bias or errors from feature learning can be avoided, and 3) robustness to the long-tailed problem. The proposed SAR can be used in a plug-and-play manner in the existing models. Extensive experiments demonstrate that the SAR performs better than previous sophisticated prototype-based methods. The implementation is available at https://github.com/geyanqi/SAR.
• Abstract（参考訳）: 表現学習の究極の目標の1つは、クラス内のコンパクト性とクラス間の親和性を達成することである。 期待最大化パラダイムに従う多くの優れたメトリックベースおよびプロトタイプベース手法が提案されている。 しかし、彼らは必然的に学習プロセス、特にロングテール分散トレーニングデータにバイアスを導入する。 本稿では,このクラスプロトタイプが必ずしもトレーニング機能から派生したものではないことを明らかにし,事前定義されたクラスアンカーを特徴センタとして使用して,一方向的特徴学習を導く新しい視点を提案する。 しかし、事前定義されたアンカーはピクセルの特徴から大きな意味的距離を持つため、直接適用されない。 この問題に対処し,特徴学習から独立して機能セントロイドを生成するために,単純なセマンティックアンカー正規化(SAR)を提案する。 sarは、クラス化アウェアの補助的エントロピー損失を用いて、乱れ学習によるトレーニング中に意味空間における意味的アンカーのクラス間分離性を保証する。 これらのセマンティックアンカーに学習した特徴を引き付けることで、いくつかの利点が得られる。 1)クラス内コンパクト性と自然クラス間分離性 2 特徴学習から引き起こされたバイアス又は誤差を回避でき、かつ 3)長期化問題に対する堅牢性。 提案したSARは既存のモデルではプラグアンドプレイで使用することができる。 大規模な実験により、SARは以前の洗練されたプロトタイプベースの手法よりも優れた性能を示した。 実装はhttps://github.com/geyanqi/SARで公開されている。

関連論文リスト

• SEER-ZSL: Semantic Encoder-Enhanced Representations for Generalized Zero-Shot Learning [0.7420433640907689]
  一般化ゼロショット学習(GZSL)は、見知らぬクラスから知識を伝達することで、目に見えないクラスを認識する。 本稿では,一般化ギャップに対処するための二重戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-20T15:18:51Z)
• Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
  Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。 本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:18:57Z)
• FeCAM: Exploiting the Heterogeneity of Class Distributions in Exemplar-Free Continual Learning [21.088762527081883]
  Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。 第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。 凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
  論文  参考訳（メタデータ） (2023-09-25T11:54:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
  本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。 具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
  論文  参考訳（メタデータ） (2023-05-30T01:38:54Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense Predictions without Cost [36.27226683586425]
  The semantic structure aware inference (SSA) was proposed to explore the semantic structure information hidden in different stage of the CNN-based network to generate high-quality CAM in the model inference。 提案手法はパラメータを含まない利点があり,訓練は不要である。したがって,弱教師付き画素ワイド予測タスクにも適用可能である。
  論文  参考訳（メタデータ） (2021-11-05T11:07:21Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。