論文の概要: Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2610.20158v1
• Date: Wed, 14 Oct 2026 13:13:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.167139
• Title: Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
• Title（参考訳）: 統合埋め込み型自己教師付き学習のためのデータセットレベル正規化
• Abstract要約: 自己教師付き共同埋め込み学習は、その分布を規則化しながら、拡張ビューの表現を整列し、崩壊を防ぐ。 我々は、CPUメモリにおけるデータセットレベルの状態を維持し、ミニバッチトレーニング中にグローバルに構築されたインスタンス単位のターゲットを使用する、バッチ外正規化を提案する。
• 参考スコア（独自算出の注目度）: 1.4016633368080276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised joint embedding learning aligns representations of augmented views while regularizing their distribution to prevent collapse. Regularization aims to shape the overall representation distribution, but most joint embedding methods restrict its computation to the active minibatch. We propose out-of-batch regularization, which maintains a dataset-level state in CPU memory and uses globally constructed per-instance targets during minibatch training. Evaluated on natural images and biomedical datasets, these anchors approximate the full-dataset regularization gradient more faithfully than conventional minibatch estimation at small batch sizes. Applications to contrastive (SimCLR) and non-contrastive (SIGReg) approaches show consistent improvement over the corresponding in-batch objectives for image classification, minority-class performance under controlled imbalance, instance retrieval, and continued self-supervised pretraining, with the largest gains at small batch sizes. These results suggest that dataset-level regularization can be decoupled from minibatch optimization, making batch size an optimization choice that does not affect the geometry of the regularizer.
• Abstract（参考訳）: 自己教師付き共同埋め込み学習は、その分布を規則化しながら、拡張ビューの表現を整列し、崩壊を防ぐ。 正規化は、全体の表現分布を形成することを目的としているが、ほとんどの共同埋め込み手法は、その計算をアクティブなミニバッチに制限する。 我々は、CPUメモリにおけるデータセットレベルの状態を維持し、ミニバッチトレーニング中にグローバルに構築されたインスタンス単位のターゲットを使用する、バッチ外正規化を提案する。 これらのアンカーは、自然画像とバイオメディカルデータセットに基づいて評価され、小さなバッチサイズでの従来のミニバッチ推定よりも忠実にフルデータセットの正規化勾配を近似する。 コントラスト的(SimCLR)および非コントラスト的(SIGReg)アプローチの適用は、画像分類、制御不均衡下でのマイノリティクラスのパフォーマンス、インスタンス検索、継続自己教師付き事前学習において、対応するバッチ内目標に対して一貫した改善を示し、バッチサイズで最大のゲインを示す。 これらの結果は,データセットレベルの正規化をミニバッチ最適化から切り離すことができ,バッチサイズが正規化器の幾何学に影響を与えない最適化選択となることを示唆している。

関連論文リスト

• COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection [87.91469665365304]
  一般化可能なAI生成画像(AIGI)とディープフェイク検出は、非対称性現象のため難しいままである。 最近の部分空間適応法は、残留部分空間を適応させながら高次主成分を凍結することによりこの問題を軽減する。 本稿では,小さなSemantic Proxy Setを用いて,ターゲットのアクティベーション統計を推定するデータ認識サブスペース適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-13T09:23:12Z)
• Task Vector Descent: Learning from Non-IID Batches [73.36333480977952]
  モデルをアクティブディストリビューションに適応させることは、アクティブディストリビューションのモデルを改善することができるが、以前トレーニングされたデータのパフォーマンス低下につながる可能性がある。 完全変位(=1$)と部分積分(英語版)を比較し、継続モデルに適用する前にタスクベクトルを$$スケールし、同じ係数で状態をスケールする。
  論文  参考訳（メタデータ） (2026-10-04T17:37:49Z)
• GRAIN: Group Aggregation via Min-Norm Objective [3.5791448764997487]
  textbfGRAINは、ミニバッチ最適化で使用される平均アグリゲーションを置き換える軽量なトレーニングアルゴリズムである。 mNameは、幅広いタスクスイートに対して平均的なパフォーマンスと実行時の分散を一貫した改善を提供します。
  論文  参考訳（メタデータ） (2026-06-22T06:57:30Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks [68.36996813591425]
  Dense FixMatchは,高密度かつ構造化された予測タスクのオンライン半教師付き学習のための簡易な手法である。 我々は、擬似ラベルにマッチング操作を追加することにより、画像分類を超えた半教師付き学習問題にFixMatchの適用を可能にする。 Dense FixMatchは、ラベル付きデータのみを使用して教師付き学習と比較すると、結果を著しく改善し、ラベル付きサンプルの1/4でそのパフォーマンスに近づいた。
  論文  参考訳（メタデータ） (2022-10-18T15:02:51Z)
• Generalizing Interactive Backpropagating Refinement for Dense Prediction [0.0]
  本稿では,G-BRSレイヤの集合を導入し,グローバル・ローカライズド・リファインメントとローカライズド・リファインメントの両立を可能にした。 提案手法は,数クリックで既存の事前訓練された最先端モデルの性能を向上する。
  論文  参考訳（メタデータ） (2021-12-21T03:52:08Z)
• Implicit Gradient Alignment in Distributed and Federated Learning [39.61762498388211]
  分散学習とフェデレーション学習においてグローバル収束を達成するための大きな障害は、クライアント間の勾配の誤調整である。 更新毎に任意の大きなバッチを使用できるようにして,同じ暗黙の正規化を誘導する新しいGradAlignアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-25T22:01:35Z)
• A Simple Baseline for Semi-supervised Semantic Segmentation with Strong Data Augmentation [74.8791451327354]
  セマンティックセグメンテーションのためのシンプルで効果的な半教師付き学習フレームワークを提案する。 単純な設計とトレーニングのテクニックのセットは、半教師付きセマンティックセグメンテーションの性能を大幅に向上させることができる。 本手法は,Cityscapes と Pascal VOC データセットの半教師付き設定において,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2021-04-15T06:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。