論文の概要: Representation Learning in Continuous-Time Score-Based Generative Models
- arxiv url: http://arxiv.org/abs/2105.14257v1
- Date: Sat, 29 May 2021 09:26:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-05 18:57:41.311481
- Title: Representation Learning in Continuous-Time Score-Based Generative Models
- Title(参考訳): 連続時間スコアベース生成モデルにおける表現学習
- Authors: Korbinian Abstreiter, Stefan Bauer, Arash Mehrjou
- Abstract要約: このようなモデルのトレーニングは、マルチスケールのデノナイジングオートエンコーダとして見ることのできるスコアマッチングのデノナイジングに依存している。
そこで我々は,教師あり信号のない表現学習を実現するために,デノベーションスコアマッチングフレームワークを拡張した。
対照的に、スコアに基づく表現学習は、スコアマッチング目的の新たな定式化に依存している。
- 参考スコア(独自算出の注目度): 19.990583896271573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Score-based methods represented as stochastic differential equations on a
continuous time domain have recently proven successful as a non-adversarial
generative model. Training such models relies on denoising score matching,
which can be seen as multi-scale denoising autoencoders. Here, we augment the
denoising score-matching framework to enable representation learning without
any supervised signal. GANs and VAEs learn representations by directly
transforming latent codes to data samples. In contrast, score-based
representation learning relies on a new formulation of the denoising
score-matching objective and thus encodes information needed for denoising. We
show how this difference allows for manual control of the level of detail
encoded in the representation.
- Abstract(参考訳): 連続時間領域上の確率微分方程式として表されるスコアベースの手法は、最近非逆生成モデルとして成功した。
このようなモデルのトレーニングは、マルチスケールのデノージングオートエンコーダとして見ることができる、デノージングスコアマッチングに依存している。
ここでは,教師あり信号のない表現学習を実現するために,デノイングスコアマッチングフレームワークを強化する。
GANとVAEは、遅延コードを直接データサンプルに変換することで表現を学ぶ。
対照的に、スコアベースの表現学習は、音符マッチング目標の新しい定式化に依存しているため、音符マッチングに必要な情報をエンコードする。
この違いが表現にエンコードされたディテールのレベルを手作業で制御できることを示す。
関連論文リスト
- Audio-Visual Speech Enhancement with Score-Based Generative Models [22.559617939136505]
本稿では,スコアベース生成モデルを利用した音声・視覚音声強調システムを提案する。
我々は,リップリーディングを微調整した自己超視的学習モデルから得られる音声-視覚的埋め込みを利用する。
実験により,提案した音声・視覚音声強調システムにより,音声の質が向上することが確認された。
論文 参考訳(メタデータ) (2023-06-02T10:43:42Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳(メタデータ) (2023-05-31T16:47:20Z) - Solving Inverse Problems with Score-Based Generative Priors learned from
Noisy Data [1.7969777786551424]
SURE-Scoreは、加法ガウス雑音で劣化したトレーニングサンプルを用いてスコアベースの生成モデルを学習するためのアプローチである。
2つの実践的応用において,SURE-Scoreの事前学習と逆問題に対する後続サンプリングの適用による一般化を実証する。
論文 参考訳(メタデータ) (2023-05-02T02:51:01Z) - From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。
本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
論文 参考訳(メタデータ) (2022-11-07T14:34:27Z) - Learning with Neighbor Consistency for Noisy Labels [69.83857578836769]
特徴空間におけるトレーニング例間の類似性を利用した雑音ラベルから学習する手法を提案する。
合成(CIFAR-10, CIFAR-100)とリアル(mini-WebVision, Clothing1M, mini-ImageNet-Red)の両方のノイズを評価するデータセットの評価を行った。
論文 参考訳(メタデータ) (2022-02-04T15:46:27Z) - Composable Augmentation Encoding for Video Representation Learning [94.2358972764708]
自己教師型ビデオ表現学習におけるコントラスト手法に着目した。
対照的な学習における一般的なパラダイムは、同じインスタンスで異なるデータビューをサンプリングし、異なるデータインスタンスを負として、ポジティブペアを構築することである。
そこで我々は,拡張パラメータの列を明示的に提供する,拡張対応型コントラスト学習フレームワークを提案する。
提案手法は,特定の空間的あるいは時間的拡張に関する情報をエンコードすると同時に,多数のビデオベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-04-01T16:48:53Z) - Unsupervised Sound Localization via Iterative Contrastive Learning [106.56167882750792]
データアノテーションを必要としない反復型コントラスト学習フレームワークを提案する。
次に、擬似ラベルを用いて、同じビデオからサンプリングされた視覚信号と音声信号の相関関係を学習する。
我々の反復的戦略は徐々に音像の局所化を奨励し、非発声領域と参照音声との相関を減少させる。
論文 参考訳(メタデータ) (2021-04-01T07:48:29Z) - CDLNet: Robust and Interpretable Denoising Through Deep Convolutional
Dictionary Learning [6.6234935958112295]
unrolled optimization networksは、ディープニューラルネットワークを構築するための解釈可能な代替案を提案する。
提案したモデルが,同様のパラメータ数にスケールすると,最先端のデノイジングモデルに勝ることを示す。
論文 参考訳(メタデータ) (2021-03-05T01:15:59Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating
Back-Propagation for Saliency Detection [54.98042023365694]
本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。
提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
論文 参考訳(メタデータ) (2020-07-23T18:47:36Z) - Self-Supervised Fast Adaptation for Denoising via Meta-Learning [28.057705167363327]
本稿では,最先端の教師付き復調手法を大幅に上回る新しい復調手法を提案する。
提案手法は, パラメータを追加することなく, 最先端の復調ネットワークに容易に適用可能であることを示す。
論文 参考訳(メタデータ) (2020-01-09T09:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。