論文の概要: Learning from Memory: Non-Parametric Memory Augmented Self-Supervised Learning of Visual Features

• arxiv url: http://arxiv.org/abs/2407.17486v1
• Date: Wed, 3 Jul 2024 06:46:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-28 18:09:38.400364
• Title: Learning from Memory: Non-Parametric Memory Augmented Self-Supervised Learning of Visual Features
• Title（参考訳）: 記憶からの学習:非パラメータ記憶による視覚的特徴の自己監督学習
• Authors: Thalles Silva, Helio Pedrini, Adín Ramírez Rivera,
• Abstract要約: 提案手法では,ニューラルネットワークをメモリコンポーネントに拡張して,現在のイメージビューとこれまで遭遇した概念を比較する。 我々は, 線形, 転送学習, ローショット分類, 画像検索など, 多数の視覚課題に対して, 提案手法をベンチマークする。 実験結果は,新たな正規化子を使わずに安定したSSLトレーニングを実現するための提案手法の有効性を固めるものである。
• 参考スコア（独自算出の注目度）: 6.096888891865663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a novel approach to improving the training stability of self-supervised learning (SSL) methods by leveraging a non-parametric memory of seen concepts. The proposed method involves augmenting a neural network with a memory component to stochastically compare current image views with previously encountered concepts. Additionally, we introduce stochastic memory blocks to regularize training and enforce consistency between image views. We extensively benchmark our method on many vision tasks, such as linear probing, transfer learning, low-shot classification, and image retrieval on many datasets. The experimental results consolidate the effectiveness of the proposed approach in achieving stable SSL training without additional regularizers while learning highly transferable representations and requiring less computing time and resources.
• Abstract（参考訳）: 本稿では,自己教師付き学習(SSL)手法のトレーニング安定性向上のための新しい手法を提案する。 提案手法では,ニューラルネットワークをメモリコンポーネントで拡張し,現在のイメージビューとそれまで遭遇していた概念を統計的に比較する。 さらに、トレーニングを規則化し、画像ビュー間の一貫性を強制するための確率的メモリブロックを導入する。 我々は、線形探索、移動学習、低ショット分類、多くのデータセットでの画像検索など、多くの視覚タスクにおいて、我々の手法を広範囲にベンチマークする。 実験結果は、高い転送可能な表現を学習し、計算時間やリソースを少なくしながら、新たな正規化子を使わずに安定したSSLトレーニングを実現するための提案手法の有効性を集約した。

関連論文リスト

• Gradient-Free Supervised Learning using Spike-Timing-Dependent Plasticity for Image Recognition [3.087000217989688]
  スパイキングニューラルネットワークにおける教師あり学習へのアプローチは、画像認識のためのスパイクタイピング依存の可塑性と組み合わせて、勾配のない手法を用いて提示される。 提案するネットワークアーキテクチャは、複数の層にスケーラブルであり、より複雑で深いSNNモデルの開発を可能にする。
  論文  参考訳（メタデータ） (2024-10-21T21:32:17Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Data-efficient Event Camera Pre-training via Disentangled Masked Modeling [20.987277885575963]
  イベントカメラのための新しいデータ教師付きボクセルベースの自己教師付き学習手法を提案する。 提案手法は,時間的情報を犠牲にしたり,ペア画像データを直接利用したりする従来の手法の限界を克服する。 優れた一般化性能を示し、パラメータが少なく、計算コストも低い様々なタスクで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-03-01T10:02:25Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Robust Cross-Modal Representation Learning with Progressive Self-Distillation [7.676408770854477]
  CLIPの視覚言語アプローチの学習目的は、Webハーベスト画像キャプションデータセットに見られるノイズの多い多対多対応を効果的に考慮していない。 本研究では、進行的な自己蒸留とソフトな画像テキストアライメントを用いて、雑音の多いデータから頑健な表現をより効率的に学習するクロスモーダルコントラスト学習に基づく新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-10T03:28:18Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。