論文の概要: Contrastive Self-Supervised Learning As Neural Manifold Packing

• arxiv url: http://arxiv.org/abs/2506.13717v1
• Date: Mon, 16 Jun 2025 17:24:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.102912
• Title: Contrastive Self-Supervised Learning As Neural Manifold Packing
• Title（参考訳）: ニューラルマニフォールドパッケージとしての対照的な自己監督学習
• Authors: Guanming Zhang, David J. Heeger, Stefano Martiniani,
• Abstract要約: 本稿では,表現学習を多様体パッキング問題として再キャストする自己教師型フレームワークであるContrastive Learning As Manifold Packing (CLAMP)を紹介する。 このフレームワークでは、各クラスは1つのイメージの複数の拡張ビューを埋め込んだサブマニフォールドで構成されている。 標準線形評価プロトコルでは、CLAMPは最先端の自己教師型モデルと競合する性能を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive self-supervised learning based on point-wise comparisons has been widely studied for vision tasks. In the visual cortex of the brain, neuronal responses to distinct stimulus classes are organized into geometric structures known as neural manifolds. Accurate classification of stimuli can be achieved by effectively separating these manifolds, akin to solving a packing problem. We introduce Contrastive Learning As Manifold Packing (CLAMP), a self-supervised framework that recasts representation learning as a manifold packing problem. CLAMP introduces a loss function inspired by the potential energy of short-range repulsive particle systems, such as those encountered in the physics of simple liquids and jammed packings. In this framework, each class consists of sub-manifolds embedding multiple augmented views of a single image. The sizes and positions of the sub-manifolds are dynamically optimized by following the gradient of a packing loss. This approach yields interpretable dynamics in the embedding space that parallel jamming physics, and introduces geometrically meaningful hyperparameters within the loss function. Under the standard linear evaluation protocol, which freezes the backbone and trains only a linear classifier, CLAMP achieves competitive performance with state-of-the-art self-supervised models. Furthermore, our analysis reveals that neural manifolds corresponding to different categories emerge naturally and are effectively separated in the learned representation space, highlighting the potential of CLAMP to bridge insights from physics, neural science, and machine learning.
• Abstract（参考訳）: 視覚タスクにおいて、ポイントワイド比較に基づくコントラスト的自己教師型学習が広く研究されている。 脳の視覚野では、異なる刺激クラスに対する神経反応は、ニューラル多様体として知られる幾何学構造に分類される。 正確な刺激の分類は、これらの多様体を効果的に分離することで達成できる。 本稿では,表現学習を多様体パッキング問題として再キャストする自己教師型フレームワークであるContrastive Learning As Manifold Packing (CLAMP)を紹介する。 CLAMPは、単純な液体の物理学や詰まったパッキングなどの短距離反発粒子系のポテンシャルエネルギーにインスパイアされた損失関数を導入している。 このフレームワークでは、各クラスは1つのイメージの複数の拡張ビューを埋め込んだサブマニフォールドで構成されている。 サブ多様体のサイズと位置は、パッキング損失の勾配に従って動的に最適化される。 このアプローチは、平行なジャミング物理学である埋め込み空間における解釈可能なダイナミクスをもたらし、損失関数の中に幾何学的に意味のあるハイパーパラメータを導入する。 バックボーンを凍結し、線形分類器のみを訓練する標準的な線形評価プロトコルでは、CLAMPは最先端の自己管理モデルと競合する性能を発揮する。 さらに,我々は,異なるカテゴリに対応するニューラルネットワークが自然に出現し,学習された表現空間内で効果的に分離されることを明らかにし,物理学,神経科学,機械学習の洞察を橋渡しするCLAMPの可能性を強調した。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU [50.9588132578029]
  本稿では,双曲型コントラスト学習における機械学習について検討する。 我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
  論文  参考訳（メタデータ） (2025-03-19T12:47:37Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• On Computational Modeling of Sleep-Wake Cycle [5.234742752529437]
  神経科学は、睡眠と覚醒を脳のデフォルトおよび摂動モードとして扱う。 脳は環境入力なしで神経活動を自己組織していると仮定されている。 本稿では,学習と記憶のための睡眠覚醒サイクルの新しい計算モデルを提案する。
  論文  参考訳（メタデータ） (2024-04-08T13:06:23Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Pushing Boundaries: Mixup's Influence on Neural Collapse [3.6919724596215615]
  Mixupは、深層ニューラルネットワークの堅牢性とキャリブレーションを強化するために、トレーニングインスタンスと各ラベルの凸結合を利用するデータ拡張戦略である。 本研究では,ミックスアップを受ける深層ネットワークにおけるトレーニングデータの最終層活性化について検討した。 ここでは,Mixupの最終層活性化が,期待と異なる独特の構成に主に収束していることを示す。
  論文  参考訳（メタデータ） (2024-02-09T04:01:25Z)
• A Waddington landscape for prototype learning in generalized Hopfield networks [0.0]
  一般化ホップフィールドネットワークの学習力学について検討する。 細胞が分化するにつれて、運河や低次元のダイナミックスと強い類似性が観察される。
  論文  参考訳（メタデータ） (2023-12-04T21:28:14Z)
• Understanding Dimensional Collapse in Contrastive Self-supervised Learning [57.98014222570084]
  非競合的手法は、異なる性質のより少ない崩壊問題、すなわち次元的崩壊に悩まされることを示す。 この理論に触発されて、トレーニング可能なプロジェクタを使わずに表現空間を直接最適化する、DirectCLRと呼ばれる新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:22:19Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• The Role of Isomorphism Classes in Multi-Relational Datasets [6.419762264544509]
  アイソモーフィックリークは,マルチリレーショナル推論の性能を過大評価することを示す。 モデル評価のためのアイソモーフィック・アウェア・シンセサイティング・ベンチマークを提案する。 また、同型類は単純な優先順位付けスキームによって利用することができることを示した。
  論文  参考訳（メタデータ） (2020-09-30T12:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。