論文の概要: Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss
- arxiv url: http://arxiv.org/abs/2310.00893v1
- Date: Mon, 2 Oct 2023 04:23:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 23:34:33.541288
- Title: Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss
- Title(参考訳): 教師付きcontrastive lossの神経崩壊形状のエンジニアリング
- Authors: Jaidev Gill, Vala Vakilian, Christos Thrampoulidis
- Abstract要約: Supervised-Contrastive Los (SCL) は、分類タスクのためのクロスエントロピー(CE)の代替品である。
コントラスト損失を補正することにより,学習した特徴埋め込みの幾何学を設計する手法を提案する。
- 参考スコア(独自算出の注目度): 28.529476019629097
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Supervised-contrastive loss (SCL) is an alternative to cross-entropy (CE) for
classification tasks that makes use of similarities in the embedding space to
allow for richer representations. In this work, we propose methods to engineer
the geometry of these learnt feature embeddings by modifying the contrastive
loss. In pursuit of adjusting the geometry we explore the impact of prototypes,
fixed embeddings included during training to alter the final feature geometry.
Specifically, through empirical findings, we demonstrate that the inclusion of
prototypes in every batch induces the geometry of the learnt embeddings to
align with that of the prototypes. We gain further insights by considering a
limiting scenario where the number of prototypes far outnumber the original
batch size. Through this, we establish a connection to cross-entropy (CE) loss
with a fixed classifier and normalized embeddings. We validate our findings by
conducting a series of experiments with deep neural networks on benchmark
vision datasets.
- Abstract(参考訳): Supervised-Contrastive Loss (SCL) は、よりリッチな表現を可能にする埋め込み空間における類似性を利用する分類タスクのためのクロスエントロピー(CE)の代替である。
本研究では,これらの特徴埋め込みの幾何構造をコントラスト損失の修正によって設計する手法を提案する。
幾何の調整を追求するために、プロトタイプの影響を探求し、最終特徴幾何学を変更するトレーニング中に固定埋め込みを含める。
具体的には,実験的な結果から,各バッチにプロトタイプを組み込むことで,学習した埋め込みの幾何学がプロトタイプの形状と一致することを示す。
プロトタイプの数が当初のバッチサイズをはるかに上回る制限シナリオを検討し,さらなる洞察を得る。
これにより、固定分類器と正規化埋め込みによるクロスエントロピー(CE)損失への接続を確立する。
ベンチマークビジョンデータセット上で,ディープニューラルネットワークを用いた一連の実験を行い,その結果を検証した。
関連論文リスト
- Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。
GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。
BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文 参考訳(メタデータ) (2023-04-06T14:33:05Z) - Coded Residual Transform for Generalizable Deep Metric Learning [34.100840501900706]
我々は,その一般化能力を大幅に向上させるために,深度学習のための符号化残差変換(CRT)と呼ばれる新しい手法を提案する。
CRTは、多彩なプロトタイプへのプロジェクションに基づいた補完的な視点のセットからフィーチャーマップを表現し、エンコードする。
実験結果とアブレーション実験により,提案手法は最先端の深層学習法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-10-09T06:17:31Z) - 3D Textured Shape Recovery with Learned Geometric Priors [58.27543892680264]
本技術報告では,学習した幾何学的先入観を取り入れて,限界に対処するアプローチを提案する。
我々は、学習したポーズ予測からSMPLモデルを生成し、それを部分的な入力に融合させ、人体の事前知識を追加する。
また、異なるレベルのスケールを扱うために、新しい完全性を考慮したバウンディングボックス適応を提案する。
論文 参考訳(メタデータ) (2022-09-07T16:03:35Z) - Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。
本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
論文 参考訳(メタデータ) (2022-08-02T01:15:39Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z) - Surface Vision Transformers: Attention-Based Modelling applied to
Cortical Analysis [8.20832544370228]
球面多様体上に投影された任意の曲面データを研究するために、ドメインに依存しないアーキテクチャを導入する。
ビジョントランスモデルは、連続したマルチヘッド自己アテンション層を介してパッチのシーケンスを符号化する。
実験の結果、SiTは一般的に表面CNNよりも優れており、登録データと未登録データで比較可能であることがわかった。
論文 参考訳(メタデータ) (2022-03-30T15:56:11Z) - Test-time Adaptation with Slot-Centric Models [63.981055778098444]
Slot-TTAは、半教師付きシーン分解モデルであり、シーンごとのテスト時間は、再構成やクロスビュー合成の目的に対する勾配降下を通じて適用される。
我々は、最先端の監視フィードフォワード検出器と代替テスト時間適応法に対して、配電性能が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-03-21T17:59:50Z) - Development of a deep learning platform for optimising sheet stamping
geometries subject to manufacturing constraints [3.264571107058741]
板の切削工程により、重量比に対して剛性が高い複雑な形状の構造部品を効率的に製造できる。
本稿では,3次元要素幾何学を最適化する新しいディープラーニングプラットフォームを提案する。
論文 参考訳(メタデータ) (2022-02-04T22:29:12Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳(メタデータ) (2021-01-23T13:22:44Z) - Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。
提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。
メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
論文 参考訳(メタデータ) (2020-10-23T14:49:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。