論文の概要: Self-Supervised Siamese Autoencoders

• arxiv url: http://arxiv.org/abs/2304.02549v2
• Date: Tue, 08 Apr 2025 14:03:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:27:42.237533
• Title: Self-Supervised Siamese Autoencoders
• Title（参考訳）: 自己監督型シームズオートエンコーダ
• Authors: Friederike Baier, Sebastian Mair, Samuel G. Fadel,
• Abstract要約: 自己教師付き表現学習は、ラベル付けされるデータのごく一部しか必要とせず、しばしば同じまたはそれ以上の下流のパフォーマンスを達成する。 自己教師型タスクでディープニューラルネットワークを事前訓練するための方法として、シームズ・デノナイズ・オートエンコーダが提案された。 Siameseコンポーネントにはもっと影響がありますが、パフォーマンス向上にはデノナイジングオートエンコーダが必要です。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License:
• Abstract: In contrast to fully-supervised models, self-supervised representation learning only needs a fraction of data to be labeled and often achieves the same or even higher downstream performance. The goal is to pre-train deep neural networks on a self-supervised task, making them able to extract meaningful features from raw input data afterwards. Previously, autoencoders and Siamese networks have been successfully employed as feature extractors for tasks such as image classification. However, both have their individual shortcomings and benefits. In this paper, we combine their complementary strengths by proposing a new method called SidAE (Siamese denoising autoencoder). Using an image classification downstream task, we show that our model outperforms two self-supervised baselines across multiple data sets and scenarios. Crucially, this includes conditions in which only a small amount of labeled data is available. Empirically, the Siamese component has more impact, but the denoising autoencoder is nevertheless necessary to improve performance.
• Abstract（参考訳）: 完全教師付きモデルとは対照的に、自己教師付き表現学習はラベル付けされるデータのごく一部しか必要とせず、しばしば同じまたはそれ以上の下流のパフォーマンスを達成する。 目標は、自己教師されたタスクでディープニューラルネットワークを事前訓練することで、その後に生の入力データから意味のある特徴を抽出できるようにすることだ。 これまで、オートエンコーダとシームズネットワークは、画像分類などのタスクのための特徴抽出器としてうまく使われてきた。 しかし、両者はそれぞれの欠点と利益を持っている。 本稿では,SidAE (Siamese denoising autoencoder) と呼ばれる新しい手法を提案する。 下流タスクのイメージ分類を用いて、我々のモデルは複数のデータセットやシナリオにまたがる2つの自己教師付きベースラインより優れていることを示す。 重要なことに、これは少量のラベル付きデータしか利用できない条件を含む。 実証的には、Siameseコンポーネントはより影響を受けていますが、パフォーマンスを改善するにはデノナイズオートエンコーダが必要です。

関連論文リスト

• SeiT++: Masked Token Modeling Improves Storage-efficient Training [36.95646819348317]
  近年のDeep Neural Network(DNN)モデルでは,コンピュータビジョンタスクのパフォーマンスが大幅に向上している。 高度に一般化可能で高性能なビジョンモデルを実現するには、拡張データセットが必要である。 SeiTによる最近のブレークスルーは、Vector-Quantized (VQ)特徴ベクトル(トークン)を視覚分類のためのネットワーク入力として使用することを提案した。 本稿では,自己指導型事前学習のためのMasked Token Modeling (MTM)を統合し,SeyTを拡張した。
  論文  参考訳（メタデータ） (2023-12-15T04:11:34Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents [3.9688530261646653]
  歴史的文書におけるキーワードスポッティング(KWS)は、デジタル化されたコレクションを最初に探究するための重要なツールである。 マスク・アンド・予測パラダイムに基づく視覚変換器をベースとしたマスク付き自動エンコーダモデルST-KeySを提案する。 微調整段階において、事前訓練されたエンコーダは、入力画像から特徴埋め込みを改善するために微調整されたサイムズニューラルネットワークモデルに統合される。
  論文  参考訳（メタデータ） (2023-03-06T13:39:41Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• DeepSatData: Building large scale datasets of satellite images for training machine learning models [77.17638664503215]
  本稿では,機械学習モデルの学習のための衛星画像データセットの自動生成のための設計検討を行う。 本稿では,ニューラルネットワークの深層学習と評価の観点から直面する課題について論じる。
  論文  参考訳（メタデータ） (2021-04-28T15:13:12Z)
• Blind Image Denoising and Inpainting Using Robust Hadamard Autoencoders [0.30586855806896046]
  深層オートエンコーダは、クリーンなトレーニングデータがない場合でも、ペイントやノイズ発生のケースに一般化することができる。 これらすべてのタスクを同時に実行するためのニューラルネットワークのトレーニング方法を示す。
  論文  参考訳（メタデータ） (2021-01-26T15:33:22Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Vector-Quantized Autoregressive Predictive Coding [31.4011465698136]
  本稿では,Vector-Quantized Autoregressive Predictive Coding (VQ-APC)を提案する。 制限されたモデルの列を研究することで、学習された表現の構成要素を明らかにする。 音声情報や話者情報を増幅して、自己監督対象を最大化する点が存在することがわかった。
  論文  参考訳（メタデータ） (2020-05-17T23:06:09Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。