論文の概要: Exploring Diffusion Time-steps for Unsupervised Representation Learning

• arxiv url: http://arxiv.org/abs/2401.11430v1
• Date: Sun, 21 Jan 2024 08:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 16:47:19.544840
• Title: Exploring Diffusion Time-steps for Unsupervised Representation Learning
• Title（参考訳）: 教師なし表現学習のための拡散時間探索
• Authors: Zhongqi Yue, Jiankun Wang, Qianru Sun, Lei Ji, Eric I-Chao Chang, Hanwang Zhang
• Abstract要約: 拡散時間ステップと隠れ属性を結合する理論的枠組みを構築する。 CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は分類を大幅に改善する。
• 参考スコア（独自算出の注目度）: 72.43246871893936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning is all about discovering the hidden modular attributes that generate the data faithfully. We explore the potential of Denoising Diffusion Probabilistic Model (DM) in unsupervised learning of the modular attributes. We build a theoretical framework that connects the diffusion time-steps and the hidden attributes, which serves as an effective inductive bias for unsupervised learning. Specifically, the forward diffusion process incrementally adds Gaussian noise to samples at each time-step, which essentially collapses different samples into similar ones by losing attributes, e.g., fine-grained attributes such as texture are lost with less noise added (i.e., early time-steps), while coarse-grained ones such as shape are lost by adding more noise (i.e., late time-steps). To disentangle the modular attributes, at each time-step t, we learn a t-specific feature to compensate for the newly lost attribute, and the set of all 1,...,t-specific features, corresponding to the cumulative set of lost attributes, are trained to make up for the reconstruction error of a pre-trained DM at time-step t. On CelebA, FFHQ, and Bedroom datasets, the learned feature significantly improves attribute classification and enables faithful counterfactual generation, e.g., interpolating only one specified attribute between two images, validating the disentanglement quality. Codes are in https://github.com/yue-zhongqi/diti.
• Abstract（参考訳）: 表現学習は、データを忠実に生成する隠れたモジュール属性を見つけることに関するものです。 モジュラー属性の教師なし学習における拡散確率モデル(DM)の適用可能性について検討する。 我々は拡散時間ステップと隠れた属性を結びつける理論的枠組みを構築し、教師なし学習の効果的な帰納的バイアスとなる。 具体的には、前方拡散過程は、各時点のサンプルにガウスノイズを漸進的に付加し、例えば、テクスチャなどのきめ細かい属性がノイズを減らして失われる(例えば、早期の時間ステップ)のに対し、形状などの粗い特性はノイズを増す(例えば、後期の時間ステップ)ことで失われる。 モジュール属性を分解するために、各時間ステップtにおいて、新たに失われた属性を補償するt固有の特徴を学習し、その累積的属性集合に対応する1,...,t固有の特徴の集合を、時間ステップtにおける予め訓練されたdmの再構成エラーを補うように訓練する。 CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は属性分類を大幅に改善し、2つの画像間で1つの特定の属性のみを補間し、不整合品質を検証するという、忠実な反ファクト生成を可能にする。 コードはhttps://github.com/yue-zhongqi/ditiにある。

関連論文リスト

• Multiple Descents in Unsupervised Learning: The Role of Noise, Domain Shift and Anomalies [14.399035468023161]
  教師なし学習における二重の子孫の存在について検討するが、これはほとんど注目されず、まだ完全には理解されていない領域である。 我々は、合成データと実データを用いて、様々なアプリケーションに対してモデルワイド、エポックワイド、サンプルワイドの二重降下を識別する。
  論文  参考訳（メタデータ） (2024-06-17T16:24:23Z)
• Few-shot Learner Parameterization by Diffusion Time-steps [133.98320335394004]
  大規模なマルチモーダル・ファンデーション・モデルを使用する場合、ほとんどショット・ラーニングは難しい。 我々は、失った属性を補うために、時間ステップFew-shot(TiF)学習者を提案する。 TiF学習者は、OpenCLIPとそのアダプタを様々な細粒度でカスタマイズされた数発の学習タスクで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-03-05T04:38:13Z)
• Exploiting Semantic Attributes for Transductive Zero-Shot Learning [97.61371730534258]
  ゼロショット学習は、視覚的特徴と、そのクラスから学んだ意味的属性の関係を一般化することにより、目に見えないクラスを認識することを目的としている。 本稿では,未知データの意味的属性を生成し,生成過程に付加する新しいZSL法を提案する。 5つの標準ベンチマーク実験により,本手法がゼロショット学習の最先端結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-03-17T09:09:48Z)
• Causal Graphs Underlying Generative Models: Path to Learning with Limited Data [45.38541020492725]
  我々は、事前訓練された生成オートエンコーダの潜伏符号に対する摂動実験を用いて、生成モデルによって示唆される因果グラフを明らかにする。 潜在符号間の構造方程式モデルをモデル化した効果的な因果グラフに適合することを示す。 ペプチド配列のデータセットに基づいて学習したRNNベースの生成オートエンコーダを用いて、学習した因果グラフを用いて、目に見えない配列の特定の特性を予測できることを実証した。
  論文  参考訳（メタデータ） (2022-07-14T19:20:30Z)
• Adaptive Memory Networks with Self-supervised Learning for Unsupervised Anomaly Detection [54.76993389109327]
  教師なし異常検出は、通常のデータのみをトレーニングすることで、目に見えない異常を検出するモデルを構築することを目的としている。 本稿では,これらの課題に対処するために,自己教師付き学習(AMSL)を用いた適応記憶ネットワーク(Adaptive Memory Network)を提案する。 AMSLには、一般的な正規パターンを学ぶための自己教師付き学習モジュールと、リッチな特徴表現を学ぶための適応型メモリ融合モジュールが組み込まれている。
  論文  参考訳（メタデータ） (2022-01-03T03:40:21Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。