論文の概要: IConE: Batch Independent Collapse Prevention for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2603.15263v1
• Date: Mon, 16 Mar 2026 13:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.318739
• Title: IConE: Batch Independent Collapse Prevention for Self-Supervised Representation Learning
• Title（参考訳）: IConE:自己監督型表現学習のためのバッチ独立型崩壊防止
• Authors: Konstantinos Almpanakis, Anna Kreshuk,
• Abstract要約: 既存のJoint-Embedding Architecturesは、表現の崩壊を防ぐために暗黙的または明示的なバッチインタラクションに依存している。 トレーニングバッチサイズから崩壊防止を分離するフレームワークであるIConEを紹介する。 IConEは、小バッチ体制全体で強いコントラストと非コントラストのベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 1.4016633368080276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has revolutionized representation learning, with Joint-Embedding Architectures (JEAs) emerging as an effective approach for capturing semantic features. Existing JEAs rely on implicit or explicit batch interaction -- via negative sampling or statistical regularization -- to prevent representation collapse. This reliance becomes problematic in regimes where batch sizes must be small, such as high-dimensional scientific data, where memory constraints and class imbalance make large, well-balanced batches infeasible. We introduce IConE (Instance-Contrasted Embeddings), a framework that decouples collapse prevention from the training batch size. Rather than enforcing diversity through batch statistics, IConE maintains a global set of learnable auxiliary instance embeddings regularized by an explicit diversity objective. This transfers the anti-collapse mechanism from the transient batch to a dataset-level embedding space, allowing stable training even when batch statistics are unreliable, down to batch size 1. Across diverse 2D and 3D biomedical modalities, IConE outperforms strong contrastive and non-contrastive baselines throughout the small-batch regime (from B=1 to B=64) and demonstrates marked robustness to severe class imbalance. Geometric analysis shows that IConE preserves high intrinsic dimensionality in the learned representations, preventing the collapse observed in existing JEAs as batch sizes shrink.
• Abstract（参考訳）: 自己教師付き学習(SSL)は表現学習に革命をもたらし、意味的特徴をキャプチャするための効果的なアプローチとしてJEA(Joint-Embedding Architectures)が出現した。 既存のJEAは、表現の崩壊を防ぐために、負のサンプリングや統計正則化を通じて、暗黙または明示的なバッチインタラクションに依存しています。 この依存は、高次元の科学的データのようなバッチサイズが小さくなければならず、メモリ制約やクラス不均衡によって大きなバランスの取れないバッチが実現できない状況において問題となる。 トレーニングバッチサイズから崩壊防止を分離するフレームワークであるIConE(Instance-Contrasted Embeddings)を紹介します。 バッチ統計によって多様性を強制するのではなく、IConEは、明示的な多様性の目的によって正規化された学習可能な補助インスタンスのグローバルな組を維持している。 これにより、崩壊防止機構を一時的なバッチからデータセットレベルの埋め込みスペースに移行し、バッチ統計が信頼できない場合でも、バッチサイズ1まで安定的なトレーニングを可能にする。 多様な2Dおよび3Dバイオメディカルモダリティにおいて、IConEは小バッチ体制全体(B=1からB=64まで)において強いコントラストと非コントラストの基線を上回り、重度のクラス不均衡に対して顕著な堅牢性を示す。 幾何学的解析により,IConEは学習表現の内在的次元を高く保ち,バッチサイズが小さくなるにつれて既存のJEAの崩壊を防止していることが示された。

関連論文リスト

• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
  ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。 不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。 本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。 本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
  論文  参考訳（メタデータ） (2026-01-29T18:07:18Z)
• Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles [2.957223821964636]
  BatchEnsembleは、アンサンブルのような不確実性(EU)EUを、はるかに低いパラメータとメモリコストで提供することを目指している。 我々は,BatchEnsembleがDeep Ensemblesを過小評価するだけでなく,単一のモデルベースラインを密接に追跡していることを示す。
  論文  参考訳（メタデータ） (2026-01-23T17:50:50Z)
• A Unified and Stable Risk Minimization Framework for Weakly Supervised Learning with Theoretical Guarantees [33.15955234458642]
  完全かつ正確なラベルが取得にコストがかかる、あるいは不可能な場合には、完全に教師付き学習の代替として弱教師付き学習が実用化されている。 弱教師付きデータの構造に根ざした安定な代理リスクを定式化することにより、そのようなポストホック調整を回避できる、原則化された統一されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T00:57:04Z)
• Learning from N-Tuple Data with M Positive Instances: Unbiased Risk Estimation and Theoretical Guarantees [33.15955234458642]
  弱教師付き学習はしばしばラベルよりも粗い集約信号で機能する。 学習可能な未バイアスリスク推定器 (URE) をインスタンス生成プロセスと潜在限界値にリンクすることで, カウントが許容できることを示す。 我々は,理論上は基礎的かつ事実上安定的な目標設定によって,カウントオンリーの監視を効果的に活用できることを実証した。
  論文  参考訳（メタデータ） (2025-10-21T08:28:07Z)
• Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
  クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。 我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。 極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
  論文  参考訳（メタデータ） (2024-08-30T10:49:33Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
  本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
  論文  参考訳（メタデータ） (2023-10-26T17:41:11Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。