Fugu-MT 論文翻訳(概要): Guarding Barlow Twins Against Overfitting with Mixed Samples

論文の概要: Guarding Barlow Twins Against Overfitting with Mixed Samples

arxiv url: http://arxiv.org/abs/2312.02151v1
Date: Mon, 4 Dec 2023 18:59:36 GMT
ステータス: 処理完了
システム内更新日: 2023-12-05 13:55:50.272463
Title: Guarding Barlow Twins Against Overfitting with Mixed Samples
Title（参考訳）: 混合サンプルによるオーバーフィッティングに対するバローツインのガード
Authors: Wele Gedara Chaminda Bandara, Celso M. De Melo, and Vishal M. Patel
Abstract要約: 自己教師付き学習は、ラベル付きデータに頼ることなく、下流アプリケーションのための転送可能な特徴表現を学習することを目的としている。線形補間標本を用いたBarlow Twinsトレーニングにおけるサンプルインタラクションの改善を目的としたMixed Barlow Twinsを紹介した。
参考スコア（独自算出の注目度）: 27.7244906436942
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-supervised Learning (SSL) aims to learn transferable feature representations for downstream applications without relying on labeled data. The Barlow Twins algorithm, renowned for its widespread adoption and straightforward implementation compared to its counterparts like contrastive learning methods, minimizes feature redundancy while maximizing invariance to common corruptions. Optimizing for the above objective forces the network to learn useful representations, while avoiding noisy or constant features, resulting in improved downstream task performance with limited adaptation. Despite Barlow Twins' proven effectiveness in pre-training, the underlying SSL objective can inadvertently cause feature overfitting due to the lack of strong interaction between the samples unlike the contrastive learning approaches. From our experiments, we observe that optimizing for the Barlow Twins objective doesn't necessarily guarantee sustained improvements in representation quality beyond a certain pre-training phase, and can potentially degrade downstream performance on some datasets. To address this challenge, we introduce Mixed Barlow Twins, which aims to improve sample interaction during Barlow Twins training via linearly interpolated samples. This results in an additional regularization term to the original Barlow Twins objective, assuming linear interpolation in the input space translates to linearly interpolated features in the feature space. Pre-training with this regularization effectively mitigates feature overfitting and further enhances the downstream performance on CIFAR-10, CIFAR-100, TinyImageNet, STL-10, and ImageNet datasets. The code and checkpoints are available at: https://github.com/wgcban/mix-bt.git
Abstract（参考訳）: self-supervised learning(ssl)は、ラベル付きデータに頼ることなく、下流アプリケーションの転送可能な機能表現を学ぶことを目的としている。 barlow twinsアルゴリズムは、コントラスト学習法などに比べて広く採用され、実装が容易であることで有名だが、共通の腐敗に対する不変性を最大化しながら、機能の冗長性を最小化している。上記の目的のために最適化することで、ネットワークはノイズや定常的な特徴を回避しながら有用な表現を学習せざるを得ない。 Barlow Twins氏の事前トレーニングの有効性が証明されているにもかかわらず、SSLの目標は、対照的な学習アプローチとは異なり、サンプル間の強い相互作用が欠如していることから、必然的に機能の過剰適合を引き起こす可能性がある。実験の結果,Barlow Twins目標の最適化は,特定の事前学習フェーズを超えて,表現品質の持続的な改善を保証するものではなく,一部のデータセットでダウンストリームパフォーマンスを低下させる可能性があることがわかった。この課題に対処するために、線形補間サンプルによるBarlow Twinsトレーニング中のサンプルインタラクションを改善することを目的としたMixed Barlow Twinsを紹介した。これにより、元のバーロー双生児の目的に対する追加の正規化項が生まれ、入力空間の線形補間が特徴空間の線形補間特徴に変換されると仮定される。この正規化による事前トレーニングは、機能オーバーフィッティングを効果的に軽減し、CIFAR-10、CIFAR-100、TinyImageNet、STL-10、ImageNetデータセットのダウンストリームパフォーマンスをさらに向上させる。コードとチェックポイントは、https://github.com/wgcban/mix-bt.gitで入手できる。

関連論文リスト

Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning [14.888569402903562]
自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
論文参考訳（メタデータ） (2023-07-14T15:07:30Z)
Deep Active Learning Using Barlow Twins [0.0]
畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
論文参考訳（メタデータ） (2022-12-30T12:39:55Z)
Learning Compact Features via In-Training Representation Alignment [19.273120635948363]
各エポックでは、トレーニングセットからサンプリングしたミニバッチを用いて損失関数の真の勾配を推定する。 In-Training Representation Alignment (ITRA) を提案する。また,特徴表現学習における一致損失の望ましい影響を厳密に分析する。
論文参考訳（メタデータ） (2022-11-23T22:23:22Z)
Non-contrastive representation learning for intervals from well logs [58.70164460091879]
石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。可能なアプローチの1つは、自己教師付き学習(SSL)である。私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
論文参考訳（メタデータ） (2022-09-28T13:27:10Z)
Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文参考訳（メタデータ） (2022-08-18T13:25:30Z)
Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文参考訳（メタデータ） (2022-06-06T14:26:34Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
Barlow Twins: Self-Supervised Learning via Redundancy Reduction [31.077182488826963]
SSL(Self-supervised Learning)は、大規模なコンピュータビジョンベンチマークの監督メソッドによるギャップを急速に閉じています。 2つの同一ネットワークの出力間の相互相関行列を測定することにより,崩壊を自然に回避する目的関数を提案する。これにより、歪んだサンプルの表現ベクトルは類似し、これらのベクトルの成分間の冗長性が最小化される。
論文参考訳（メタデータ） (2021-03-04T18:55:09Z)
Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。