論文の概要: Self-Supervised Siamese Autoencoders

• arxiv url: http://arxiv.org/abs/2304.02549v1
• Date: Wed, 5 Apr 2023 16:11:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:05:27.126065
• Title: Self-Supervised Siamese Autoencoders
• Title（参考訳）: 自己監督型シームズオートエンコーダ
• Authors: Friederike Baier, Sebastian Mair, Samuel G. Fadel
• Abstract要約: 自己教師付き表現学習は、同じまたはそれ以上の下流のパフォーマンスを達成するのに必要なラベル付きデータの量を減らす。 本稿では,シームズアーキテクチャの利点と自動エンコーダのデノベーションを組み合わせた自己教師型手法を提案する。
• 参考スコア（独自算出の注目度）: 3.9103337761169943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fully supervised models often require large amounts of labeled training data, which tends to be costly and hard to acquire. In contrast, self-supervised representation learning reduces the amount of labeled data needed for achieving the same or even higher downstream performance. The goal is to pre-train deep neural networks on a self-supervised task such that afterwards the networks are able to extract meaningful features from raw input data. These features are then used as inputs in downstream tasks, such as image classification. Previously, autoencoders and Siamese networks such as SimSiam have been successfully employed in those tasks. Yet, challenges remain, such as matching characteristics of the features (e.g., level of detail) to the given task and data set. In this paper, we present a new self-supervised method that combines the benefits of Siamese architectures and denoising autoencoders. We show that our model, called SidAE (Siamese denoising autoencoder), outperforms two self-supervised baselines across multiple data sets, settings, and scenarios. Crucially, this includes conditions in which only a small amount of labeled data is available.
• Abstract（参考訳）: 完全な教師付きモデルは、しばしば大量のラベル付きトレーニングデータを必要とする。 対照的に、自己教師付き表現学習は、同一またはそれ以上の下流のパフォーマンスを達成するのに必要なラベル付きデータの量を減らす。 目標は、自己教師されたタスクでディープニューラルネットワークを事前訓練することで、その後、ネットワークは生の入力データから意味のある特徴を抽出できる。 これらの機能は、画像分類などの下流タスクの入力として使用される。 以前は、SimSiamのようなオートエンコーダやシームズネットワークがこれらのタスクにうまく使われてきた。 しかし、与えられたタスクとデータセットに特徴(例えば、詳細レベル)の特徴と一致するような課題は残されている。 本稿では、シャムアーキテクチャの利点と自動エンコーダのデノージングを組み合わせた新しい自己教師あり方式を提案する。 SidAE(Siamese denoising autoencoder)と呼ばれる私たちのモデルは、複数のデータセット、設定、シナリオで2つの自己教師付きベースラインを上回ります。 重要なことに、これは少量のラベル付きデータしか利用できない条件を含む。

関連論文リスト

• SeiT++: Masked Token Modeling Improves Storage-efficient Training [36.95646819348317]
  近年のDeep Neural Network(DNN)モデルでは,コンピュータビジョンタスクのパフォーマンスが大幅に向上している。 高度に一般化可能で高性能なビジョンモデルを実現するには、拡張データセットが必要である。 SeiTによる最近のブレークスルーは、Vector-Quantized (VQ)特徴ベクトル(トークン)を視覚分類のためのネットワーク入力として使用することを提案した。 本稿では,自己指導型事前学習のためのMasked Token Modeling (MTM)を統合し,SeyTを拡張した。
  論文  参考訳（メタデータ） (2023-12-15T04:11:34Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents [3.9688530261646653]
  歴史的文書におけるキーワードスポッティング(KWS)は、デジタル化されたコレクションを最初に探究するための重要なツールである。 マスク・アンド・予測パラダイムに基づく視覚変換器をベースとしたマスク付き自動エンコーダモデルST-KeySを提案する。 微調整段階において、事前訓練されたエンコーダは、入力画像から特徴埋め込みを改善するために微調整されたサイムズニューラルネットワークモデルに統合される。
  論文  参考訳（メタデータ） (2023-03-06T13:39:41Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• DeepSatData: Building large scale datasets of satellite images for training machine learning models [77.17638664503215]
  本稿では,機械学習モデルの学習のための衛星画像データセットの自動生成のための設計検討を行う。 本稿では,ニューラルネットワークの深層学習と評価の観点から直面する課題について論じる。
  論文  参考訳（メタデータ） (2021-04-28T15:13:12Z)
• Blind Image Denoising and Inpainting Using Robust Hadamard Autoencoders [0.30586855806896046]
  深層オートエンコーダは、クリーンなトレーニングデータがない場合でも、ペイントやノイズ発生のケースに一般化することができる。 これらすべてのタスクを同時に実行するためのニューラルネットワークのトレーニング方法を示す。
  論文  参考訳（メタデータ） (2021-01-26T15:33:22Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Vector-Quantized Autoregressive Predictive Coding [31.4011465698136]
  本稿では,Vector-Quantized Autoregressive Predictive Coding (VQ-APC)を提案する。 制限されたモデルの列を研究することで、学習された表現の構成要素を明らかにする。 音声情報や話者情報を増幅して、自己監督対象を最大化する点が存在することがわかった。
  論文  参考訳（メタデータ） (2020-05-17T23:06:09Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。