論文の概要: A Theory of Contrastive Learning with Natural Images
- arxiv url: http://arxiv.org/abs/2607.07470v1
- Date: Wed, 08 Jul 2026 14:32:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.408044
- Title: A Theory of Contrastive Learning with Natural Images
- Title（参考訳）: 自然画像を用いたコントラスト学習の理論
- Abstract要約: 特定の拡張に対して、第1層フィルタが正弦波であるCNNにより最適が得られることを示す。
また、より複雑な拡張のためのCNNの最適重量は、まだ正弦波であることを示す。
- 参考スコア（独自算出の注目度）: 36.427587066264635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Why does contrastive learning with simple images and augmentations yield useful representations for downstream tasks? We address this question by analytically computing the optimal representation in terms of a contrastive loss for a range of basic augmentations and any image dataset with stationary statistics. We show that for certain augmentations the optimum can be attained by a CNN whose first layer filters are sinusoids, followed by a pointwise nonlinearity, global average pooling, and a final linear layer that performs partial whitening. We also show that the optimal weights in such CNNs for more complicated augmentations are still sinusoids. The frequencies of the sinusoids and their weights can be computed using a simple waterfilling algorithm given the dataset's expected power spectrum. Experiments with different image datasets and augmentations show that such CNNs trained with SGD empirically learn sinusoids in their first layer and to perform partial whitening
- Abstract（参考訳）: 単純な画像と拡張によるコントラスト学習が下流タスクに有用な表現をもたらすのはなぜか?
そこで本稿では,基本的な拡張範囲と静止統計値を持つ任意の画像データセットに対して,コントラスト的損失という観点から,最適な表現を解析的に計算することによって,この問題に対処する。
拡張のためには、第1層フィルタが正弦波であるCNN、次いで、点方向の非線形性、大域的な平均プール、部分的な白化を行う最終線形層が最適であることを示す。
また、より複雑な拡張のためのCNNの最適重量は、まだ正弦波であることを示す。
正弦波とその重みの周波数は、データセットの期待するパワースペクトルから単純な給水アルゴリズムを用いて計算することができる。
異なる画像データセットと拡張実験により、SGDで訓練されたCNNは、第1層の正弦波を経験的に学習し、部分的な白化を行うことが示された。
関連論文リスト
- A Fourier perspective on the learning dynamics of neural networks: from sample complexities to mechanistic insights [8.973965016201822]
画像分類タスクで訓練された単純なニューラルネットワークは、まず振幅情報に依存する。
次に、エッジと高次相関を符号化する位相情報を利用する。
実験および理論的には、パワーロースペクトルが学習相情報の速度を劇的に加速できることを示す。
論文 参考訳（メタデータ） (2026-05-16T10:03:41Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - Noise Self-Regression: A New Learning Paradigm to Enhance Low-Light Images Without Task-Related Data [86.68013790656762]
タスク関連のデータにアクセスせずにノイズ自己回帰(NoiSER)を提案する。
NoiSERは品質向上に非常に競争力があるが、モデルのサイズははるかに小さく、トレーニングや推論のコストもはるかに低い。
論文 参考訳（メタデータ） (2022-11-09T06:18:18Z) - Feature transforms for image data augmentation [74.12025519234153]
画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。
本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。
事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
論文 参考訳（メタデータ） (2022-01-24T14:12:29Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - Reducing Labelled Data Requirement for Pneumonia Segmentation using
Image Augmentations [0.0]
画像拡張が肺炎検出のための胸部x線意味セグメンテーションにおけるラベル付きデータの必要性を減らす効果について検討した。
我々は、トレーニングデータから異なるサイズのサブセットで完全な畳み込みネットワークモデルを訓練する。
回転と混合は、回転、混合、翻訳、ガンマ、水平フリップの中で最高の増強であり、ラベル付きデータの要件を70%削減します。
論文 参考訳（メタデータ） (2021-02-25T10:11:30Z) - Unrolling of Deep Graph Total Variation for Image Denoising [106.93258903150702]
本稿では,従来のグラフ信号フィルタリングと深い特徴学習を併用して,競合するハイブリッド設計を提案する。
解釈可能な低パスグラフフィルタを用い、最先端のDL復調方式DnCNNよりも80%少ないネットワークパラメータを用いる。
論文 参考訳（メタデータ） (2020-10-21T20:04:22Z) - Harnessing spatial homogeneity of neuroimaging data: patch individual
filter layers for CNNs [0.0]
ニューラルネットワークにおける階層的抽象化の考え方と、ニューロイメージングデータの空間的均一性に先立って、新しいCNNアーキテクチャを提案する。
重みを共有せずに個々の画像領域(パッチ)でフィルタを学習することにより、PIF層は抽象的特徴をより早く、より少ないサンプルで学習することができる。
論文 参考訳（メタデータ） (2020-07-23T10:11:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。