論文の概要: Representation Learning for Sequence Data with Deep Autoencoding Predictive Components

• arxiv url: http://arxiv.org/abs/2010.03135v2
• Date: Sun, 28 Feb 2021 20:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:46:29.560288
• Title: Representation Learning for Sequence Data with Deep Autoencoding Predictive Components
• Title（参考訳）: ディープオートエンコーディング予測成分を用いたシーケンスデータの表現学習
• Authors: Junwen Bai, Weiran Wang, Yingbo Zhou, Caiming Xiong
• Abstract要約: 本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
• 参考スコア（独自算出の注目度）: 96.42805872177067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Deep Autoencoding Predictive Components (DAPC) -- a self-supervised representation learning method for sequence data, based on the intuition that useful representations of sequence data should exhibit a simple structure in the latent space. We encourage this latent structure by maximizing an estimate of predictive information of latent feature sequences, which is the mutual information between past and future windows at each time step. In contrast to the mutual information lower bound commonly used by contrastive learning, the estimate of predictive information we adopt is exact under a Gaussian assumption. Additionally, it can be computed without negative sampling. To reduce the degeneracy of the latent space extracted by powerful encoders and keep useful information from the inputs, we regularize predictive information learning with a challenging masked reconstruction loss. We demonstrate that our method recovers the latent space of noisy dynamical systems, extracts predictive features for forecasting tasks, and improves automatic speech recognition when used to pretrain the encoder on large amounts of unlabeled data.
• Abstract（参考訳）: 本稿では,シーケンスデータの有用な表現は潜在空間において単純な構造を示すべきであるという直観に基づいて,シーケンスデータに対する自己教師あり表現学習手法であるdeep autoencoding prediction components (dapc)を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 コントラスト学習で一般的に用いられる相互情報下限とは対照的に、我々が採用する予測情報の推定はガウス的仮定の下で正確である。 さらに、負のサンプリングなしで計算することもできる。 強力なエンコーダによって抽出された潜伏空間の縮退を低減し、入力から有用な情報を保持するため、我々はマスクによる復元損失に挑戦して予測情報学習を規則化する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。

関連論文リスト

• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Custom DNN using Reward Modulated Inverted STDP Learning for Temporal Pattern Recognition [0.0]
  時間的スパイク認識は、異常検出、キーワードスポッティング、神経科学など、様々な領域において重要な役割を果たす。 本稿では,スパース事象系列データに基づく時間的スパイクパターン認識のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-15T18:57:27Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Self-Supervised Representation Learning from Temporal Ordering of Automated Driving Sequences [49.91741677556553]
  本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。 我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。 BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-17T18:18:27Z)
• Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs [16.968490007064872]
  シーケンシャルデータに可変オートエンコーダ(VAE)を適用することで、シーケンス生成、操作、構造化表現学習を制御する方法が提供される。 理論的には、これは遅延空間を利用して補償されるデコーダ入力によって提供されるポイントワイドな相互情報を除去することを示す。 標準テキストベンチマークデータセットの均一なドロップアウトと比較して、我々のターゲットとなるアプローチは、シーケンス性能と潜時空間でキャプチャされた情報の両方を増大させる。
  論文  参考訳（メタデータ） (2022-09-26T11:21:19Z)
• Compressed Predictive Information Coding [6.220929746808418]
  我々は,動的データから有用な表現を抽出する新しい情報理論フレームワーク,Compressed Predictive Information Coding (CPIC) を開発した。 我々はCPIC損失の変動境界を導出し、最大予測可能な情報を取得するために潜時空間を誘導する。 我々はCPICが低信号対雑音比で雑音力学系の潜時空間を復元できることを実証した。
  論文  参考訳（メタデータ） (2022-03-03T22:47:58Z)
• Improving Prediction Confidence in Learning-Enabled Autonomous Systems [2.66512000865131]
  予測の信頼性を向上させるために,分類に使用される学習可能なコンポーネントと自律システムのセンサとのフィードバックループを利用する。 本稿では,三重項ネットワークアーキテクチャに基づく帰納的等角予測(ICP)を用いた分類器を設計し,テスト例とトレーニング例の類似性を定量化するための表現を学習する。 センサに新しい入力を問い合わせるフィードバックループを使用して、予測をさらに洗練し、分類精度を高める。
  論文  参考訳（メタデータ） (2021-10-07T00:40:34Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
  構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)
• Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting [12.0855096102517]
  金融時系列予測のための表現学習フレームワークを提案する。 本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-02-18T15:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。