論文の概要: Poly-View Contrastive Learning
- arxiv url: http://arxiv.org/abs/2403.05490v1
- Date: Fri, 8 Mar 2024 17:55:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 12:56:29.923052
- Title: Poly-View Contrastive Learning
- Title（参考訳）: 多視点コントラスト学習
- Authors: Amitis Shidani, Devon Hjelm, Jason Ramapuram, Russ Webb, Eeshan Gunesh
Dhekane, Dan Busbridge
- Abstract要約: バッチサイズ256の128エポックで訓練されたポリビューコントラストモデルは、ImageNet1k上で4096のバッチサイズで1024エポックで訓練されたSimCLRより優れていた。
特に、バッチサイズ256の128のエポックでトレーニングされたポリビューコントラストモデルは、ImageNet1k上で4096のバッチサイズで1024のエポックでトレーニングされたSimCLRより優れていた。
- 参考スコア（独自算出の注目度）: 6.06848945268524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning typically matches pairs of related views among a number
of unrelated negative views. Views can be generated (e.g. by augmentations) or
be observed. We investigate matching when there are more than two related views
which we call poly-view tasks, and derive new representation learning
objectives using information maximization and sufficient statistics. We show
that with unlimited computation, one should maximize the number of related
views, and with a fixed compute budget, it is beneficial to decrease the number
of unique samples whilst increasing the number of views of those samples. In
particular, poly-view contrastive models trained for 128 epochs with batch size
256 outperform SimCLR trained for 1024 epochs at batch size 4096 on ImageNet1k,
challenging the belief that contrastive models require large batch sizes and
many training epochs.
- Abstract（参考訳）: 対照的な学習は通常、関連しない多くの否定的な視点のペアにマッチする。
ビューは(拡張によって)生成したり、観察したりできる。
多視点タスクと呼ばれる2つ以上の関連するビューが存在する場合のマッチングを調査し、情報最大化と十分な統計量を用いた新しい表現学習目標を導出する。
計算量無制限の場合,関連するビュー数を最大化する必要があり,計算予算が固定された場合には,各サンプルのビュー数を増加させながら,ユニークなサンプル数を減らすことが有益である。
特に、バッチサイズ256の128エポックをトレーニングしたポリビューコントラストモデルは、imagenet1kのバッチサイズ4096で1024エポックをトレーニングしたsimclrよりも優れており、コントラストモデルには大きなバッチサイズと多くのトレーニングエポックが必要であるという信念に挑戦している。
関連論文リスト
- $\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs [62.565573316667276]
サンプルが他者とどのように関連しているかを符号化する目的を開発する。
クラスやテキストのキャプション記述における類似性に基づいて視覚モデルを訓練する。
我々の目標は、特に低いデータ体制でうまく機能しているようで、CLIPが16.8%、ImageNet Realが18.1%だった。
論文 参考訳（メタデータ） (2024-07-25T15:38:16Z) - MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck [53.44358636312935]
自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなす。
近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。
目的とする多視点エントロピー・ボトルネック(MVEB)を提案し,最小限の表現を効果的に学習する。
論文 参考訳（メタデータ） (2024-03-28T00:50:02Z) - Beyond Random Augmentations: Pretraining with Hard Views [40.88518237601708]
Hard View Pretraining (HVP)は、SSL事前トレーニング中にモデルをより難しく、より困難なサンプルに公開する学習不要の戦略である。
HVPは、100と300のエポック事前学習において、ImageNetの平均で1%の線形評価精度の向上を実現している。
論文 参考訳（メタデータ） (2023-10-05T23:09:19Z) - On the Importance of Contrastive Loss in Multimodal Learning [34.91089650516183]
簡単なマルチモーダルコントラスト学習モデルのトレーニングダイナミクスを解析する。
モデルが学習した表現の効率よくバランスをとるためには,コントラスト対が重要であることを示す。
論文 参考訳（メタデータ） (2023-04-07T16:25:18Z) - ACTIVE:Augmentation-Free Graph Contrastive Learning for Partial
Multi-View Clustering [52.491074276133325]
部分的マルチビュークラスタリングの問題を解決するために,拡張自由グラフコントラスト学習フレームワークを提案する。
提案手法は、インスタンスレベルのコントラスト学習と欠落データ推論をクラスタレベルに高め、個々の欠落データがクラスタリングに与える影響を効果的に軽減する。
論文 参考訳（メタデータ） (2022-03-01T02:32:25Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳（メタデータ） (2021-06-10T17:59:13Z) - Beyond Single Instance Multi-view Unsupervised Representation Learning [21.449132256091662]
ランダムにサンプリングされた2つのインスタンス間の結合類似度を測定することにより、より正確なインスタンス識別能力を付与する。
符号化された特徴が潜伏した空間でより均等に分散される場合,共同学習の類似性によって性能が向上すると考えている。
論文 参考訳（メタデータ） (2020-11-26T15:43:27Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Unsupervised Learning of Visual Features by Contrasting Cluster
Assignments [57.33699905852397]
ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。
本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。
我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
論文 参考訳（メタデータ） (2020-06-17T14:00:42Z) - Generalized Multi-view Shared Subspace Learning using View Bootstrapping [43.027427742165095]
マルチビュー学習の主な目的は、下流学習タスクを改善するために、オブジェクト/イベントのクラスの複数の並列ビューに共通する情報をモデル化することである。
本稿では,多視点相関に基づくニューラルな手法を提案する。
音声認識、3次元オブジェクト分類、ポーズ不変顔認識の実験は、多数のビューをモデル化するためのビューブートストラップの堅牢性を示している。
論文 参考訳（メタデータ） (2020-05-12T20:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。