論文の概要: Discriminative protein sequence modelling with Latent Space Diffusion

• arxiv url: http://arxiv.org/abs/2503.18551v1
• Date: Mon, 24 Mar 2025 11:03:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:08.844137
• Title: Discriminative protein sequence modelling with Latent Space Diffusion
• Title（参考訳）: 遅延空間拡散を用いた識別タンパク質配列モデリング
• Authors: Eoin Quinn, Ghassene Jebali, Maxime Seince, Oliver Bent,
• Abstract要約: 本稿では, タンパク質配列表現学習の枠組みを考察し, 多様体学習と分布モデリングの課題を分解する。 本稿では,タンパク質配列自動エンコーダと遅延空間で動作する縮退拡散モデルを組み合わせた潜時空間拡散アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.9187159782788576
• License:
• Abstract: We explore a framework for protein sequence representation learning that decomposes the task between manifold learning and distributional modelling. Specifically we present a Latent Space Diffusion architecture which combines a protein sequence autoencoder with a denoising diffusion model operating on its latent space. We obtain a one-parameter family of learned representations from the diffusion model, along with the autoencoder's latent representation. We propose and evaluate two autoencoder architectures: a homogeneous model forcing amino acids of the same type to be identically distributed in the latent space, and an inhomogeneous model employing a noise-based variant of masking. As a baseline we take a latent space learned by masked language modelling, and evaluate discriminative capability on a range of protein property prediction tasks. Our finding is twofold: the diffusion models trained on both our proposed variants display higher discriminative power than the one trained on the masked language model baseline, none of the diffusion representations achieve the performance of the masked language model embeddings themselves.
• Abstract（参考訳）: 本稿では, タンパク質配列表現学習の枠組みを考察し, 多様体学習と分布モデリングの課題を分解する。 具体的には、タンパク質配列オートエンコーダと、その潜在空間で動作する縮退拡散モデルを組み合わせたラテント空間拡散アーキテクチャを提案する。 拡散モデルから学習表現の1パラメータファミリを自動エンコーダの潜在表現とともに取得する。 本研究では,同種のアミノ酸を潜在空間に均質に分散させる同質モデルと,ノイズに基づくマスキングを用いた不均一モデルという2つの自己エンコーダアーキテクチャを提案し,評価する。 ベースラインとして、マスク言語モデリングによって学習された潜伏空間を取り上げ、タンパク質特性予測タスクにおける識別能力を評価する。 提案した2つの変種で訓練された拡散モデルは、マスク付き言語モデルベースラインで訓練された拡散表現よりも高い識別力を示すが、いずれの拡散表現もマスク付き言語モデル自体の埋め込み性能は達成しない。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• [MASK] is All You Need [28.90875822599164]
  離散状態モデルを用いてMasked Generative と Non-autoregressive Diffusion を接続する。 離散状態モデルで[MASK]を活用することで、Masked Generative と Non-autoregressive Diffusion モデルを橋渡しできる。
  論文  参考訳（メタデータ） (2024-12-09T18:59:56Z)
• Glauber Generative Model: Discrete Diffusion Models via Binary Classification [21.816933208895843]
  離散拡散モデルの新しいクラスであるグラウバー生成モデル(GGM)を紹介する。 GGMはマルコフ連鎖を展開させ、離散トークンの共分散からサンプルにノイズトークンの列を分解する。 言語生成や画像生成において,既存の離散拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-27T10:42:13Z)
• Do text-free diffusion models learn discriminative visual representations? [39.78043004824034]
  本稿では,タスクの両ファミリーを同時に扱うモデルである統一表現学習者の可能性について検討する。 生成タスクの最先端手法である拡散モデル(拡散モデル)を素数候補として開発する。 拡散モデルはGANよりも優れており、融合とフィードバック機構により、差別的タスクのための最先端の教師なし画像表現学習手法と競合することができる。
  論文  参考訳（メタデータ） (2023-11-29T18:59:59Z)
• Denoising Diffusion Semantic Segmentation with Mask Prior Modeling [61.73352242029671]
  本稿では,従来の識別的アプローチのセマンティックセグメンテーション品質を,デノナイズ拡散生成モデルでモデル化したマスクを用いて改善することを提案する。 市販セグメンタを用いた先行モデルの評価を行い,ADE20KとCityscapesの実験結果から,本手法が競争力のある定量的性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-02T17:47:01Z)
• Latent Space Diffusion Models of Cryo-EM Structures [6.968705314671148]
  我々は、CryoDRGNフレームワークにおいて、表現的で学習可能な拡散モデルをトレーニングする。 データ分布の正確なモデルを学習することにより、生成モデリング、サンプリング、分布解析のツールを解放する。
  論文  参考訳（メタデータ） (2022-11-25T15:17:10Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• OCD: Learning to Overfit with Conditional Diffusion Models [95.1828574518325]
  入力サンプルxに重みを条件付けした動的モデルを提案する。 基本モデルを x とそのラベル y 上で微調整することで得られる重みに一致することを学習する。
  論文  参考訳（メタデータ） (2022-10-02T09:42:47Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。