論文の概要: Deconstructing Denoising Diffusion Models for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2401.14404v1
• Date: Thu, 25 Jan 2024 18:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 13:33:38.563235
• Title: Deconstructing Denoising Diffusion Models for Self-Supervised Learning
• Title（参考訳）: 自己教師あり学習のためのデコンストラクション・デノージング拡散モデル
• Authors: Xinlei Chen, Zhuang Liu, Saining Xie, Kaiming He
• Abstract要約: 本稿では,元来画像生成を目的とした拡散モデルの表現学習能力について検討する。 我々の研究は最終的に、高度に単純化されたアプローチに到達し、大部分は古典的DAEに似ている。
• 参考スコア（独自算出の注目度）: 68.58743599846811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we examine the representation learning abilities of Denoising Diffusion Models (DDM) that were originally purposed for image generation. Our philosophy is to deconstruct a DDM, gradually transforming it into a classical Denoising Autoencoder (DAE). This deconstructive procedure allows us to explore how various components of modern DDMs influence self-supervised representation learning. We observe that only a very few modern components are critical for learning good representations, while many others are nonessential. Our study ultimately arrives at an approach that is highly simplified and to a large extent resembles a classical DAE. We hope our study will rekindle interest in a family of classical methods within the realm of modern self-supervised learning.
• Abstract（参考訳）: 本研究では,画像生成を目的としたDDM(Denoising Diffusion Models)の表現学習能力について検討した。 我々の哲学は、DDMを分解し、徐々にそれを古典的Denoising Autoencoder(DAE)に変えることである。 このデコンストラクティブな手法により、現代のDDMの様々な構成要素が自己指導型表現学習にどのように影響するかを探索することができる。 優れた表現を学ぶ上で重要なコンポーネントはごくわずかだが、その他の多くは無意味である。 我々の研究は最終的に、高度に単純化されたアプローチに到達し、大部分は古典的DAEに似ている。 近代的自己監督学習の領域における古典的手法群への関心が再び高まることを期待している。

関連論文リスト

• RIGL: A Unified Reciprocal Approach for Tracing the Independent and Group Learning Processes [22.379764500005503]
  個人レベルとグループレベルの両方で知識状態をトレースする統合相互モデルであるRIGLを提案する。 本稿では,学生と集団の相互作用を同時にモデル化するための時間フレーム対応の相互埋め込みモジュールを提案する。 動的グラフモデリングと時間的自己注意機構を組み合わせた関係誘導型時間的注意ネットワークを設計する。
  論文  参考訳（メタデータ） (2024-06-18T10:16:18Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• HiCMAE: Hierarchical Contrastive Masked Autoencoder for Self-Supervised Audio-Visual Emotion Recognition [38.924509275928884]
  自己教師型学習の最近の進歩に触発されて,階層型コントラスト型マスケドオートエンコーダ(HiCMAE)を提案する。 HiCMAEは、大規模なセルフ教師付き事前トレーニングを、ラベルのない膨大なオーディオ視覚データに活用する、新しいセルフ教師付きフレームワークである。 本手法は,最先端の教師付き・自己監督型音声視覚法よりも優れる。
  論文  参考訳（メタデータ） (2024-01-11T07:00:07Z)
• SODA: Bottleneck Diffusion Models for Representation Learning [75.7331354734152]
  本稿では,表現学習のための自己教師付き拡散モデルSODAを紹介する。 このモデルには、ソースビューをコンパクトな表現に蒸留するイメージエンコーダが組み込まれており、関連する新規ビューの生成を導く。 エンコーダと復調復調復調復調復調復調復調復調復号器の密集ボトルネックを付与することにより,拡散モデルを強力な表現学習器に変換することができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T18:53:34Z)
• On the Stepwise Nature of Self-Supervised Learning [0.0]
  本稿では, 自己教師あり学習法を組み込んだ共同学習の学習過程について, 簡単な図面を提示する。 これらの手法は, 離散的, 分離されたステップの列において, 1次元の高次元埋め込みを同時に学習する。 我々の理論は、カーネル回帰を教師付き学習のモデルと考えることができるように、カーネルPCAは自己教師付き学習の有用なモデルとして機能する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-03-27T17:59:20Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• A Biologically Plausible Audio-Visual Integration Model for Continual Learning [7.680515385940673]
  生物学的に妥当なオーディオ視覚統合モデル(AVIM)を提案する。 マルチコンパートメントのHodgkin-Huxleyニューロンを用いてモデルを構築し、カルシウムベースのシナプスタギングとキャプチャをモデルの学習規則として採用する。 実験の結果,提案したAVIMは,最先端の連続学習性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-17T09:30:41Z)
• A Comprehensive Study on Temporal Modeling for Online Action Detection [50.558313106389335]
  オンライン行動検出(OAD)は実用的だが難しい課題であり、近年注目を集めている。 本稿では,4種類の時間的モデリング手法を含むOADの時間的モデリングに関する総合的研究を提案する。 本稿では,THUMOS-14 と TVSeries に対して,近年の最先端手法よりも大きなマージンを有するハイブリッド時間モデルを提案する。
  論文  参考訳（メタデータ） (2020-01-21T13:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。