論文の概要: Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning

• arxiv url: http://arxiv.org/abs/2012.13475v1
• Date: Fri, 25 Dec 2020 01:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 07:36:25.930844
• Title: Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning
• Title（参考訳）: 進化は必要なすべて: コントラスト学習のための系統的強化
• Authors: Amy X. Lu, Alex X. Lu, Alan Moses
• Abstract要約: 生物配列埋め込みの自己監視型表現学習は、下流タスクにおける計算リソースの制約を緩和する。 進化的系統的増補を用いた対比学習が表現学習の目的として利用できることを示す。
• 参考スコア（独自算出の注目度）: 1.7188280334580197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised representation learning of biological sequence embeddings alleviates computational resource constraints on downstream tasks while circumventing expensive experimental label acquisition. However, existing methods mostly borrow directly from large language models designed for NLP, rather than with bioinformatics philosophies in mind. Recently, contrastive mutual information maximization methods have achieved state-of-the-art representations for ImageNet. In this perspective piece, we discuss how viewing evolution as natural sequence augmentation and maximizing information across phylogenetic "noisy channels" is a biologically and theoretically desirable objective for pretraining encoders. We first provide a review of current contrastive learning literature, then provide an illustrative example where we show that contrastive learning using evolutionary augmentation can be used as a representation learning objective which maximizes the mutual information between biological sequences and their conserved function, and finally outline rationale for this approach.
• Abstract（参考訳）: 生物配列埋め込みの自己教師あり表現学習は、高価な実験ラベル取得を回避しつつ、下流タスクの計算資源制約を緩和する。 しかし、既存の手法はバイオインフォマティクスの哲学を念頭に置いているのではなく、NLP用に設計された大きな言語モデルから直接借用している。 近年、対照的な相互情報最大化手法がimagenetの最先端表現を実現している。 本稿では,進化を自然配列の増大と見なし,系統的「ノイズチャネル」にまたがる情報の最大化が,エンコーダを事前学習するための生物学的かつ理論的に望ましい目的であることを示す。 まず、現在のコントラスト学習文献のレビューを行い、次に、進化的拡張を用いたコントラスト学習を、生物学的シーケンスとその保存機能間の相互情報を最大化する表現学習目標として利用し、最終的にこのアプローチの理論的根拠を概説する例を示す。

関連論文リスト

• Neural Echos: Depthwise Convolutional Filters Replicate Biological Receptive Fields [56.69755544814834]
  哺乳類網膜で観察される生体受容野を,深部核が効果的に複製していることを示す証拠を提示する。 生体受容の分野からインスピレーションを得る手法を提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:06:22Z)
• Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
  $k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。 k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-12-15T14:04:23Z)
• Neuronal architecture extracts statistical temporal patterns [1.9662978733004601]
  情報表現や処理に高次時間的(コ-)ゆらぎをいかに利用できるかを示す。 単純な生物学的にインスパイアされたフィードフォワードニューロンモデルでは、時系列分類を行うために3階までの累積から情報を抽出することができる。
  論文  参考訳（メタデータ） (2023-01-24T18:21:33Z)
• Taxonomy and evolution predicting using deep learning in images [9.98733710208427]
  本研究では,キノコ画像認識問題を体系的に研究することで,新しい認識枠組みを創出する。 そこで本研究では,DNAにDNAをマッピングする最初の方法として,遺伝子距離にエンコーダマッピング画像を使用し,事前に訓練したデコーダを介してDNAをデコードする手法を提案する。
  論文  参考訳（メタデータ） (2022-06-28T13:54:14Z)
• Learning multi-scale functional representations of proteins from single-cell microscopy data [77.34726150561087]
  局所化分類に基づいて訓練された単純な畳み込みネットワークは、多様な機能情報をカプセル化したタンパク質表現を学習できることを示す。 また,生物機能の異なるスケールでタンパク質表現の質を評価するためのロバストな評価戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-24T00:00:07Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。