論文の概要: Improving Self-supervised Molecular Representation Learning using Persistent Homology

• arxiv url: http://arxiv.org/abs/2311.17327v1
• Date: Wed, 29 Nov 2023 02:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 22:55:10.898912
• Title: Improving Self-supervised Molecular Representation Learning using Persistent Homology
• Title（参考訳）: 永続ホモロジーを用いた自己教師付き分子表現学習の改善
• Authors: Yuankai Luo, Lei Shi, Veronika Thost
• Abstract要約: 自己教師付き学習(SSL)は、分子表現学習に大きな可能性を秘めている。 本稿では,複数のスケールにまたがるデータのトポロジ的特徴をモデル化するための数学的ツールである永続ホモロジー(PH)に基づくSSLについて検討する。
• 参考スコア（独自算出の注目度）: 6.263470141349622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has great potential for molecular representation learning given the complexity of molecular graphs, the large amounts of unlabelled data available, the considerable cost of obtaining labels experimentally, and the hence often only small training datasets. The importance of the topic is reflected in the variety of paradigms and architectures that have been investigated recently. Yet the differences in performance seem often minor and are barely understood to date. In this paper, we study SSL based on persistent homology (PH), a mathematical tool for modeling topological features of data that persist across multiple scales. It has several unique features which particularly suit SSL, naturally offering: different views of the data, stability in terms of distance preservation, and the opportunity to flexibly incorporate domain knowledge. We (1) investigate an autoencoder, which shows the general representational power of PH, and (2) propose a contrastive loss that complements existing approaches. We rigorously evaluate our approach for molecular property prediction and demonstrate its particular features in improving the embedding space: after SSL, the representations are better and offer considerably more predictive power than the baselines over different probing tasks; our loss increases baseline performance, sometimes largely; and we often obtain substantial improvements over very small datasets, a common scenario in practice.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、分子グラフの複雑さ、利用可能な大量の未ラベルデータ、ラベルを実験的に取得するためのかなりのコスト、従って、小さなトレーニングデータセットのみを考えると、分子表現学習に大きな可能性を持っている。 このトピックの重要性は、最近調査された様々なパラダイムやアーキテクチャに反映されている。 しかし、パフォーマンスの違いはしばしば小さく、ほとんど理解されていない。 本稿では,複数のスケールにまたがるデータのトポロジ的特徴をモデル化するための数学的ツールである永続ホモロジー(PH)に基づくSSLについて検討する。 SSLに特に適しており、データのさまざまなビュー、距離保存の観点からの安定性、ドメイン知識を柔軟に組み込む機会などを提供している。 我々は(1)PHの一般的な表現力を示すオートエンコーダを調査し、(2)既存のアプローチを補完する対照的な損失を提案する。 我々は、分子特性予測に対する我々のアプローチを厳格に評価し、埋め込み空間の改善におけるその特長を実証する:SSLの後、表現は、異なる探索タスクに対するベースラインよりも良く、はるかに予測力を提供します。

関連論文リスト

• An Information Criterion for Controlled Disentanglement of Multimodal Data [39.601584166020274]
  マルチモーダル表現学習は、複数のモーダルに固有の情報を関連付けて分解しようとする。 Disentangled Self-Supervised Learning (DisentangledSSL)は、非角表現を学習するための新しい自己教師型アプローチである。
  論文  参考訳（メタデータ） (2024-10-31T14:57:31Z)
• Disentangling Interpretable Factors with Supervised Independent Subspace Principal Component Analysis [0.9558392439655012]
  Supervised Independent Subspace principal Component Analysis (texttsisPCA$)は、マルチサブスペース学習用に設計されたPCA拡張である。 乳がん診断などの広範囲な応用を通して,隠れたデータ構造を同定し,分離する能力を示す。 以上の結果から,高次元データ解析における説明可能な表現の重要性を浮き彫りにして,マラリアの定着に伴う機能的経路を明らかにした。
  論文  参考訳（メタデータ） (2024-10-31T03:09:40Z)
• A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
  視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-30T07:38:28Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
  自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。 本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
  論文  参考訳（メタデータ） (2023-04-14T07:53:59Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Evaluating Self-Supervised Learning for Molecular Graph Embeddings [38.65102126919387]
  Graph Self-Supervised Learning (GSSL)は、専門的なラベル付けなしで埋め込みを取得するための堅牢なパスを提供する。 分子グラフ埋め込みの詳細なプロファイルを解釈可能かつ多彩な属性で生成する。
  論文  参考訳（メタデータ） (2022-06-16T09:01:53Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。