論文の概要: Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss

• arxiv url: http://arxiv.org/abs/2310.00893v1
• Date: Mon, 2 Oct 2023 04:23:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 23:34:33.541288
• Title: Engineering the Neural Collapse Geometry of Supervised-Contrastive Loss
• Title（参考訳）: 教師付きcontrastive lossの神経崩壊形状のエンジニアリング
• Authors: Jaidev Gill, Vala Vakilian, Christos Thrampoulidis
• Abstract要約: Supervised-Contrastive Los (SCL) は、分類タスクのためのクロスエントロピー(CE)の代替品である。 コントラスト損失を補正することにより,学習した特徴埋め込みの幾何学を設計する手法を提案する。
• 参考スコア（独自算出の注目度）: 28.529476019629097
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Supervised-contrastive loss (SCL) is an alternative to cross-entropy (CE) for classification tasks that makes use of similarities in the embedding space to allow for richer representations. In this work, we propose methods to engineer the geometry of these learnt feature embeddings by modifying the contrastive loss. In pursuit of adjusting the geometry we explore the impact of prototypes, fixed embeddings included during training to alter the final feature geometry. Specifically, through empirical findings, we demonstrate that the inclusion of prototypes in every batch induces the geometry of the learnt embeddings to align with that of the prototypes. We gain further insights by considering a limiting scenario where the number of prototypes far outnumber the original batch size. Through this, we establish a connection to cross-entropy (CE) loss with a fixed classifier and normalized embeddings. We validate our findings by conducting a series of experiments with deep neural networks on benchmark vision datasets.
• Abstract（参考訳）: Supervised-Contrastive Loss (SCL) は、よりリッチな表現を可能にする埋め込み空間における類似性を利用する分類タスクのためのクロスエントロピー(CE)の代替である。 本研究では,これらの特徴埋め込みの幾何構造をコントラスト損失の修正によって設計する手法を提案する。 幾何の調整を追求するために、プロトタイプの影響を探求し、最終特徴幾何学を変更するトレーニング中に固定埋め込みを含める。 具体的には,実験的な結果から,各バッチにプロトタイプを組み込むことで,学習した埋め込みの幾何学がプロトタイプの形状と一致することを示す。 プロトタイプの数が当初のバッチサイズをはるかに上回る制限シナリオを検討し,さらなる洞察を得る。 これにより、固定分類器と正規化埋め込みによるクロスエントロピー(CE)損失への接続を確立する。 ベンチマークビジョンデータセット上で,ディープニューラルネットワークを用いた一連の実験を行い,その結果を検証した。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• 3D Geometric Shape Assembly via Efficient Point Cloud Matching [59.241448711254485]
  Proxy Match Transform (PMT) は、部品の配向面間の信頼性の高いマッチングを可能にする、高次特徴変換層である。 PMT を基盤として,幾何学的組立作業のための新しいフレームワーク Proxy Match TransformeR (PMTR) を導入する。 我々は,Breaking Badの大規模3次元幾何形状集合ベンチマークデータセットを用いてPMTRの評価を行った。
  論文  参考訳（メタデータ） (2024-07-15T08:50:02Z)
• PDiscoFormer: Relaxing Part Discovery Constraints with Vision Transformers [7.4774909520731425]
  自己教師型DINOv2 ViTのような事前学習型トランスフォーマーベース視覚モデルにより制約緩和が可能となることを示す。 特に、任意の大きさの複数の接続されたコンポーネントを利用できる全変動(TV)が、以前の作業よりも大幅に優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-07-05T14:24:37Z)
• Split-and-Fit: Learning B-Reps via Structure-Aware Voronoi Partitioning [50.684254969269546]
  本稿では,3次元CADモデルのバウンダリ表現(B-Reps)を取得する新しい手法を提案する。 各パーティション内に1つのプリミティブを導出するために空間分割を適用する。 我々のネットワークはニューラルなボロノイ図でNVD-Netと呼ばれ、訓練データからCADモデルのボロノイ分割を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2024-06-07T21:07:49Z)
• Coded Residual Transform for Generalizable Deep Metric Learning [34.100840501900706]
  我々は,その一般化能力を大幅に向上させるために,深度学習のための符号化残差変換(CRT)と呼ばれる新しい手法を提案する。 CRTは、多彩なプロトタイプへのプロジェクションに基づいた補完的な視点のセットからフィーチャーマップを表現し、エンコードする。 実験結果とアブレーション実験により,提案手法は最先端の深層学習法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T06:17:31Z)
• 3D Textured Shape Recovery with Learned Geometric Priors [58.27543892680264]
  本技術報告では,学習した幾何学的先入観を取り入れて,限界に対処するアプローチを提案する。 我々は、学習したポーズ予測からSMPLモデルを生成し、それを部分的な入力に融合させ、人体の事前知識を追加する。 また、異なるレベルのスケールを扱うために、新しい完全性を考慮したバウンディングボックス適応を提案する。
  論文  参考訳（メタデータ） (2022-09-07T16:03:35Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Curved Geometric Networks for Visual Anomaly Recognition [39.91252195360767]
  データ分布の根底にある性質を理解するために潜伏埋め込みを学ぶことは、曲率ゼロのユークリッド空間でしばしば定式化される。 本研究では,データ中の異常やアウト・オブ・ディストリビューション・オブジェクトを解析するための曲線空間の利点について検討する。
  論文  参考訳（メタデータ） (2022-08-02T01:15:39Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• Surface Vision Transformers: Attention-Based Modelling applied to Cortical Analysis [8.20832544370228]
  球面多様体上に投影された任意の曲面データを研究するために、ドメインに依存しないアーキテクチャを導入する。 ビジョントランスモデルは、連続したマルチヘッド自己アテンション層を介してパッチのシーケンスを符号化する。 実験の結果、SiTは一般的に表面CNNよりも優れており、登録データと未登録データで比較可能であることがわかった。
  論文  参考訳（メタデータ） (2022-03-30T15:56:11Z)
• Test-time Adaptation with Slot-Centric Models [63.981055778098444]
  Slot-TTAは、半教師付きシーン分解モデルであり、シーンごとのテスト時間は、再構成やクロスビュー合成の目的に対する勾配降下を通じて適用される。 我々は、最先端の監視フィードフォワード検出器と代替テスト時間適応法に対して、配電性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2022-03-21T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。