論文の概要: An Analysis of Self-supervised Pre-training with Dependent Samples
- arxiv url: http://arxiv.org/abs/2609.05031v1
- Date: Fri, 04 Sep 2026 11:52:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.025217
- Title: An Analysis of Self-supervised Pre-training with Dependent Samples
- Title（参考訳）: 依存サンプルを用いた自己教師付き事前学習の分析
- Abstract要約: 自己教師付き学習は、いわゆるデータ拡張を$(x)$というラベルのないデータポイントに頼っている。
この研究で、相互依存にもかかわらず、拡張をまとめることが、データを独立したデータサブセットに分割するベースラインよりも優れた選択肢であることを示しています。
- 参考スコア（独自算出の注目度）: 16.937471403068688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning relies on so-called data augmentations $φ(x)$ of unlabeled datapoints $x$ --- for example, masking random pixels in an image $x$ --- that should leave the label of $x$ invariant and are often used to learn a lower-complexity invariant subspace $\cal V$ for downstream tasks. In practice, such augmentations $\{ φ_l(x_i) \}$ are pooled together to learn $\cal V$, despite obvious inter-dependencies between different augmentations $φ_l(x), φ_k(x)$ of the same datapoint $x$. However, theoretical works on the subject typically consider procedures that avoid such dependencies, and are therefore limited to operate on smaller subsets of independent data. We show in this work that pooling augmentations together, despite inter-dependencies, is a better alternative than the baseline of partitioning the data into subsets of independent data. More precisely, in the context of estimating $\cal V$, the statistical estimation error bounds for pooling are never worse than the partitioning baseline, and in some cases --- such as masking or noise injection-based augmentations over a shallow neural network --- naive pooling leads to faster rates in terms of the number of augmentations. The benefits of pooling are particularly prominent when the correlations between different augmentations $φ_l(x), φ_k(x)$ have mild effects on estimation or help decrease the estimation variance. The analysis, therefore, yields new insights into the success of pooling augmented samples in self-supervised pre-training, and provides an intuition behind the practical preference towards using many augmentations.
- Abstract（参考訳）: 自己教師付き学習は、いわゆるデータ拡張である$φ(x)$ ラベル付きデータポイントの$x$ --- 例えば、画像のランダムピクセルをマスキングする$x$ --- に頼っている。
実際には、そのような拡張 $\{ φ_l(x_i) \}$ は、同じデータポイント $x$ の異なる拡張 $φ_l(x) と φ_k(x)$ の間に明らかな差があるにもかかわらず、$\cal V$ を学ぶためにプールされる。
しかしながら、この主題に関する理論的研究は、一般的にそのような依存関係を避ける手順を考慮し、従って独立したデータの小さなサブセットでのみ動作するように制限されている。
この研究で、相互依存にもかかわらず、拡張をまとめることが、データを独立したデータサブセットに分割するベースラインよりも優れた選択肢であることを示しています。
より正確には、$\cal V$を見積もるコンテキストでは、プールの統計的推定誤差境界はパーティショニングベースラインよりも悪くはない。
プーリングの利点は、異なる拡張の$φ_l(x) と φ_k(x)$ の相関が、推定のばらつきを和らげたり減らしたりするときに特に顕著である。
この分析は、自己指導型事前学習における強化サンプルのプールの成功に対する新たな洞察を与え、多くの強化の使用に対する実践的嗜好の背後にある直感を与える。
関連論文リスト
- Same Flow, Different Paths: Variance Reduction in Flow Matching [67.12978375116599]
最適化の観点から,この経路の選択について検討する。
我々の主な発見は、パス $g_t$ の選択は、SGDの収束率を根本的に変えることができるということである。
論文 参考訳（メタデータ） (2026-09-15T15:01:04Z) - Data Augmentation: A Fourier Analysis Perspective [52.00584777952869]
部分的なデータ拡張は、一般化やサンプルの複雑さの観点から、完全な拡張と同じ統計的利点が得られることを示す。
この結果から, 部分拡張が, ほぼ対称性を保っているにもかかわらず, 完全拡張の統計的利点を維持できる理由を理論的に説明できる。
論文 参考訳（メタデータ） (2026-06-23T10:54:14Z) - SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。
我々は悲観的な収束分析を避ける分析を提供する。
我々の成果は、既存の最先端の体制を改善した。
論文 参考訳（メタデータ） (2026-06-14T14:11:07Z) - Linear cost mutual information estimation and independence test of similar performance as HSIC [0.17478203318226307]
HSIC (Hilbert-Schmidt Information Criterion)citeHSICは最先端の手法である。
サイズ$n$ データサンプルには$ntimes n$ matricesの乗算が必要で、現在$sim O(n2.37)$ 計算複雑性の試算を必要とするため、大規模なデータサンプルでは実用的ではない。
我々は,HCRを線形コストの実用的な代替品として論じる。
論文 参考訳（メタデータ） (2025-08-25T13:45:25Z) - Supervised Contrastive Block Disentanglement [30.241555300212543]
実世界のデータセットは、しばしば異なる実験条件下で収集されたデータを組み合わせる。
これにより、より大きなデータセットが生成されるが、興味のある現象をモデル化することが困難になるような、刺激的な相関ももたらされる。
興味の現象と素早い相関を独立に表現する2つの埋め込みを学習することでこの問題に対処する。
論文 参考訳（メタデータ） (2025-02-11T05:55:27Z) - Inverse Entropic Optimal Transport Solves Semi-supervised Learning via Data Likelihood Maximization [72.69498649272347]
条件分布は機械学習の中心的な問題です
ペアデータとペアデータの両方を統合する新しいパラダイムを提案する。
提案手法は任意の誤差で理論上真の条件分布を復元可能であることを示す。
論文 参考訳（メタデータ） (2024-10-03T16:12:59Z) - Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。
iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。
我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-08-08T17:56:20Z) - Beyond Invariance: Test-Time Label-Shift Adaptation for Distributions
with "Spurious" Correlations [44.99833362998488]
テスト時のデータ分散の変化は、予測モデルのパフォーマンスに有害な影響を及ぼす可能性がある。
本研究では,未ラベルサンプルに適用したEMを用いて,共同分布の$p(y, z)$の変化に適応するテストタイムラベルシフト補正を提案する。
論文 参考訳（メタデータ） (2022-11-28T18:52:33Z) - The Projected Covariance Measure for assumption-lean variable significance testing [3.8936058127056357]
単純だが一般的なアプローチは、線形モデルを指定し、次に$X$の回帰係数が 0 でないかどうかをテストすることである。
条件付き平均独立性のモデルフリーなnullをテストする問題、すなわち条件付き平均の$Y$$$X$と$Z$は$X$に依存しない。
本稿では,加法モデルやランダムフォレストなど,柔軟な非パラメトリックあるいは機械学習手法を活用可能な,シンプルで汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-03T17:55:50Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z) - Learning to extrapolate using continued fractions: Predicting the
critical temperature of superconductor materials [5.905364646955811]
人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。
トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
論文 参考訳（メタデータ） (2020-11-27T04:57:40Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。