論文の概要: S3VAE: Self-Supervised Sequential VAE for Representation Disentanglement
and Data Generation
- arxiv url: http://arxiv.org/abs/2005.11437v1
- Date: Sat, 23 May 2020 00:44:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 03:36:20.780278
- Title: S3VAE: Self-Supervised Sequential VAE for Representation Disentanglement
and Data Generation
- Title(参考訳): S3VAE:表現距離とデータ生成のための自己監督型シーケンスVAE
- Authors: Yizhe Zhu, Martin Renqiang Min, Asim Kadav, Hans Peter Graf
- Abstract要約: 自己超越下での逐次データの不整合表現を学習するための逐次変分オートエンコーダを提案する。
我々は、入力データ自体から容易にアクセス可能な監視信号や、市販の機能モデルから得られる利点を利用する。
我々のモデルは入力シーケンスの表現を静的因子と動的因子に容易に切り離すことができる。
- 参考スコア(独自算出の注目度): 31.38329747789168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a sequential variational autoencoder to learn disentangled
representations of sequential data (e.g., videos and audios) under
self-supervision. Specifically, we exploit the benefits of some readily
accessible supervisory signals from input data itself or some off-the-shelf
functional models and accordingly design auxiliary tasks for our model to
utilize these signals. With the supervision of the signals, our model can
easily disentangle the representation of an input sequence into static factors
and dynamic factors (i.e., time-invariant and time-varying parts).
Comprehensive experiments across videos and audios verify the effectiveness of
our model on representation disentanglement and generation of sequential data,
and demonstrate that, our model with self-supervision performs comparable to,
if not better than, the fully-supervised model with ground truth labels, and
outperforms state-of-the-art unsupervised models by a large margin.
- Abstract(参考訳): 本稿では,逐次データ(ビデオやオーディオなど)の不連続表現を自己スーパービジョンで学習する逐次変分オートエンコーダを提案する。
具体的には、入力データ自体や市販の機能モデルから容易にアクセス可能な監視信号の利点を利用して、これらの信号を利用するための補助的なタスクを設計する。
信号の監督により、入力列の表現を静的因子と動的因子(すなわち時間不変部分と時間不安定部分)に容易に切り離すことができる。
映像と音声の包括的実験により,本モデルの有効性を検証し,自己スーパービジョンを用いたモデルが,基底真理ラベル付き完全教師付きモデルと比較し,最先端の教師なしモデルよりも大きなマージンで上回ることを実証した。
関連論文リスト
- Beyond Self-learned Attention: Mitigating Attention Bias in
Transformer-based Models Using Attention Guidance [9.486558126032639]
SyntaGuidはトランスフォーマーベースのモデルを重要なソースコードトークンへ導くための新しいアプローチである。
SyntaGuidは、全体的なパフォーマンスを3.25%改善し、28.3%の誤予測を修正できることを示す。
論文 参考訳(メタデータ) (2024-02-26T18:03:50Z) - Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity
Tracking [53.66999416757543]
本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。
微調整はモデルの機械的操作を変えるのではなく、強化する。
論文 参考訳(メタデータ) (2024-02-22T18:59:24Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - A monitoring framework for deployed machine learning models with supply
chain examples [2.904613270228912]
機械学習モデルを監視するためのフレームワークについて述べ,(2)ビッグデータサプライチェーンアプリケーションの実装について述べる。
本実装では,3つの実データ集合上でのモデル特徴,予測,および性能のドリフトについて検討する。
論文 参考訳(メタデータ) (2022-11-11T14:31:38Z) - Towards Robust Unsupervised Disentanglement of Sequential Data -- A Case
Study Using Music Audio [17.214062755082065]
Disentangled Sequence Autoencoder (DSAE) は確率的グラフィカルモデルのクラスを表す。
バニラDSAEはモデルアーキテクチャの選択や動的潜伏変数の容量に敏感であることを示す。
本稿では,まずシーケンスレベルの事前分布を学習する2段階のトレーニングフレームワークTS-DSAEを提案する。
論文 参考訳(メタデータ) (2022-05-12T04:11:25Z) - Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
論文 参考訳(メタデータ) (2022-03-22T20:24:21Z) - Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。
我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文 参考訳(メタデータ) (2021-12-08T10:39:13Z) - Stacking VAE with Graph Neural Networks for Effective and Interpretable
Time Series Anomaly Detection [5.935707085640394]
本研究では,実効かつ解釈可能な時系列異常検出のための,グラフニューラルネットワークを用いた自動エンコーダ(VAE)モデルを提案する。
我々は,提案モデルが3つの公開データセットの強いベースラインを上回っており,大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2021-05-18T09:50:00Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Generative Models as Distributions of Functions [72.2682083758999]
生成モデルは一般的に、画像のようなグリッドのようなデータに基づいて訓練される。
本稿では,離散格子を放棄し,連続関数による個々のデータポイントのパラメータ化を行う。
論文 参考訳(メタデータ) (2021-02-09T11:47:55Z) - Disentangled Recurrent Wasserstein Autoencoder [17.769077848342334]
Recurrent Wasserstein Autoencoder (R-WAE)はシーケンシャルデータの生成モデリングのための新しいフレームワークである。
R-WAEは入力シーケンスの表現を静的および動的因子に切り離す。
私達のモデルは無条件のビデオ生成およびdisentanglementの点では同じ設定の他のベースラインを上回ります。
論文 参考訳(メタデータ) (2021-01-19T07:43:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。