論文の概要: Latent space configuration for improved generalization in supervised autoencoder neural networks

• arxiv url: http://arxiv.org/abs/2402.08441v1
• Date: Tue, 13 Feb 2024 13:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 15:16:59.476745
• Title: Latent space configuration for improved generalization in supervised autoencoder neural networks
• Title（参考訳）: 教師付き自己エンコーダニューラルネットワークの一般化のための潜在空間構成
• Authors: Nikita Gabdullin
• Abstract要約: 所望のトポロジを持つLSを得るための2つの手法を提案する。 LS構成を知ることで、LSで類似度尺度を定義し、ラベルを予測したり、複数の入力に対して類似度を推定することができる。 提案手法を用いて衣服のテクスチャ分類を訓練したSAEは,細調整をせずに,LIP,Market1501,WildTrackのデータセットから見当たらないデータによく一般化することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoencoders (AE) are simple yet powerful class of neural networks that compress data by projecting input into low-dimensional latent space (LS). Whereas LS is formed according to the loss function minimization during training, its properties and topology are not controlled directly. In this paper we focus on AE LS properties and propose two methods for obtaining LS with desired topology, called LS configuration. The proposed methods include loss configuration using a geometric loss term that acts directly in LS, and encoder configuration. We show that the former allows to reliably obtain LS with desired configuration by defining the positions and shapes of LS clusters for supervised AE (SAE). Knowing LS configuration allows to define similarity measure in LS to predict labels or estimate similarity for multiple inputs without using decoders or classifiers. We also show that this leads to more stable and interpretable training. We show that SAE trained for clothes texture classification using the proposed method generalizes well to unseen data from LIP, Market1501, and WildTrack datasets without fine-tuning, and even allows to evaluate similarity for unseen classes. We further illustrate the advantages of pre-configured LS similarity estimation with cross-dataset searches and text-based search using a text query without language models.
• Abstract（参考訳）: オートエンコーダ (AE) は、低次元の潜在空間 (LS) に入力を投影することでデータを圧縮する単純なニューラルネットワークのクラスである。 lsは訓練中の損失関数最小化に従って形成されるが、その特性とトポロジーは直接制御されない。 本稿では,AE LS特性に着目し,所望のトポロジを持つLSを得るための2つの方法を提案する。 提案手法は,LSに直接作用する幾何損失項を用いた損失構成とエンコーダ構成を含む。 その結果, 前者は, AE(SAE)のためのLSクラスタの位置と形状を定義し, 望ましい構成でLSを確実に取得できることが示唆された。 LS構成を知ることで、LSで類似度尺度を定義し、ラベルを予測したり、デコーダや分類器を使わずに複数の入力に対して類似度を推定することができる。 これがより安定し、解釈可能なトレーニングにつながることも示しています。 提案手法を用いて衣料品のテクスチャ分類を訓練したSAEは、細調整なしでLIP、Market1501、WildTrackのデータセットから見知らぬデータによく一般化し、見つからないクラスの類似性を評価できることを示した。 さらに,言語モデルを用いないテキストクエリを用いたクロスデータセット検索とテキストベース検索によるls類似度推定の利点について述べる。

関連論文リスト

• HEX: Hierarchical Emergence Exploitation in Self-Supervised Algorithms [14.10876324116018]
  本稿では,トレーニング中に出現する階層構造を活かすために,多種多様な自己教師型(SSL)アプローチを利用するアルゴリズムを提案する。 画像ネットの分類精度に対するベースラインSSLアプローチよりも5.6%の相対的改善が100エポックのトレーニングで達成された。
  論文  参考訳（メタデータ） (2024-10-30T16:49:59Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Linguistic Steganalysis via LLMs: Two Modes for Efficient Detection of Strongly Concealed Stego [6.99735992267331]
  LSGCと呼ばれる2つのモードを持つ新しいLSを設計する。 生成モードでは、LS-task"記述"を作成しました。 分類モードでは、LSGCはLS-taskの「記述」を削除し、"causalLM" LLMs を使用して骨組織学的特徴を抽出した。
  論文  参考訳（メタデータ） (2024-06-06T16:18:02Z)
• Automated Contrastive Learning Strategy Search for Time Series [48.68664732145665]
  時系列データセットやタスクに対するコントラスト学習(AutoCL)を自動的に学習する,MicrosoftのAutomated Machine Learning(AutoML)プラクティスを提示する。 まず,データ拡張,埋め込み変換,コントラッシブなペア構成,コントラスト的な損失を網羅した,3時間1012ドルの探索空間を構築した。 さらに,評価タスクの性能からCLSを最適化し,空間内で有効なCLSを得る効率的な強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-19T11:24:14Z)
• Token-level Sequence Labeling for Spoken Language Understanding using Compositional End-to-End Models [94.30953696090758]
  音声合成言語理解システムを構築した。 ASRのために訓練された中間デコーダを頼りにすることで、私たちのエンドツーエンドシステムは、入力モダリティを音声からトークンレベルの表現に変換する。 我々のモデルは、名前付きエンティティ認識のラベル付けタスクにおいて、カスケードモデルと直接エンド・ツー・エンドモデルの両方より優れている。
  論文  参考訳（メタデータ） (2022-10-27T19:33:18Z)
• Weakly Supervised Label Smoothing [15.05158252504978]
  L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。 ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
  論文  参考訳（メタデータ） (2020-12-15T19:36:52Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Adaptive Linear Span Network for Object Skeleton Detection [56.78705071830965]
  本研究では,適応線形スパンネットワーク(AdaLSN)を提案する。 AdaLSNは、精度とレイテンシのトレードオフを著しく高めることで、その汎用性を裏付ける。 また、エッジ検出や道路抽出といったイメージ・ツー・マスクのタスクに適用可能であることも示している。
  論文  参考訳（メタデータ） (2020-11-08T12:51:14Z)
• Semi-supervised source localization with deep generative modeling [27.344649091365067]
  可変オートエンコーダ(VAE)を用いた深部生成モデルに基づく半教師付きローカライゼーション手法を提案する。 VAE-SSLはラベル制限シナリオでSRP-PHATとCNNの両方より優れている。
  論文  参考訳（メタデータ） (2020-05-27T04:59:52Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。