論文の概要: iEnhancer-ELM: improve enhancer identification by extracting
position-related multiscale contextual information based on enhancer language
models
- arxiv url: http://arxiv.org/abs/2212.01495v2
- Date: Sun, 16 Jul 2023 13:48:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 23:49:59.256993
- Title: iEnhancer-ELM: improve enhancer identification by extracting
position-related multiscale contextual information based on enhancer language
models
- Title(参考訳): iEnhancer-ELM:エンハンサー言語モデルに基づく位置関連マルチスケールコンテキスト情報抽出によるエンハンサー識別の改善
- Authors: Jiahao Li, Zhourun Wu, Wenhao Lin, Jiawei Luo, Jun Zhang, Qingcai Chen
and Junjie Chen
- Abstract要約: BERT型エンハンサー言語モデルに基づく新しいエンハンサー識別法(iEnhancer-ELM)を提案する。
iEnhancer-ELMは、マルチスケールのk-merでDNA配列をトークン化し、その位置に関連する異なるスケールのk-merのコンテキスト情報を抽出する。
- 参考スコア(独自算出の注目度): 24.136656111333718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivation: Enhancers are important cis-regulatory elements that regulate a
wide range of biological functions and enhance the transcription of target
genes. Although many feature extraction methods have been proposed to improve
the performance of enhancer identification, they cannot learn position-related
multiscale contextual information from raw DNA sequences.
Results: In this article, we propose a novel enhancer identification method
(iEnhancer-ELM) based on BERT-like enhancer language models. iEnhancer-ELM
tokenizes DNA sequences with multi-scale k-mers and extracts contextual
information of different scale k-mers related with their positions via an
multi-head attention mechanism. We first evaluate the performance of different
scale k-mers, then ensemble them to improve the performance of enhancer
identification. The experimental results on two popular benchmark datasets show
that our model outperforms stateof-the-art methods. We further illustrate the
interpretability of iEnhancer-ELM. For a case study, we discover 30 enhancer
motifs via a 3-mer-based model, where 12 of motifs are verified by STREME and
JASPAR, demonstrating our model has a potential ability to unveil the
biological mechanism of enhancer.
Availability and implementation: The models and associated code are available
at https://github.com/chen-bioinfo/iEnhancer-ELM
Contact: junjiechen@hit.edu.cn
Supplementary information: Supplementary data are available at Bioinformatics
Advances online.
- Abstract(参考訳): モチベーション:エンハンサーは、幅広い生物学的機能を制御し、標的遺伝子の転写を促進する重要なシス調節要素である。
エンハンサー同定の性能向上のために,多くの特徴抽出法が提案されているが,DNA配列から位置関連マルチスケールコンテキスト情報を学習することはできない。
結果: 本稿では,BERT型エンハンサー言語モデルに基づく新しいエンハンサー識別法(iEnhancer-ELM)を提案する。
iEnhancer-ELMは、マルチスケールのk-merでDNA配列をトークン化し、マルチヘッドアテンション機構を介して、異なるスケールのk-merのコンテキスト情報を抽出する。
まず, 異なるスケールk-merの性能を評価し, エンハンサー識別の性能を向上させるためにアンサンブルする。
2つの人気のあるベンチマークデータセットの実験結果は、我々のモデルが最先端の手法より優れていることを示している。
さらに,iEnhancer-ELMの解釈可能性について述べる。
ケーススタディでは,STREMEとJASPARで12つのモチーフを検証し,このモデルがエンハンサーの生物学的メカニズムを明らかにする可能性を実証する3-merモデルを用いて,30個のエンハンサーモチーフを発見する。
可用性と実装: モデルと関連するコードはhttps://github.com/chen-bioinfo/ienhancer-elm contact: junjiechen@hit.edu.cn supplementary information: supplementary dataはbioinformatics advances onlineで入手できる。
関連論文リスト
- Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Genetic InfoMax: Exploring Mutual Information Maximization in
High-Dimensional Imaging Genetics Studies [50.11449968854487]
遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。
画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。
本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
論文 参考訳(メタデータ) (2023-09-26T03:59:21Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Cross-Language Speech Emotion Recognition Using Multimodal Dual
Attention Transformers [5.538923337818467]
最先端のシステムでは、言語間の設定でパフォーマンスが向上することができない。
言語間SERを改善するためのマルチモーダルデュアルアテンショントランスモデルを提案する。
論文 参考訳(メタデータ) (2023-06-23T22:38:32Z) - t-SMILES: A Scalable Fragment-based Molecular Representation Framework
for De Novo Molecule Generation [9.660168004209712]
本研究では, t-SMILESと呼ばれる, フレキシブル, フラグメントベース, マルチスケールな分子表現フレームワークを提案する。
フラグメント化された分子グラフから生成された全二分木上で幅優先探索を行うことにより得られるSMILES型文字列を用いて分子を記述する。
従来のSMILES、DeepSMILES、SELFIES、ベースラインモデルをゴール指向タスクで大幅に上回っている。
論文 参考訳(メタデータ) (2023-01-04T21:41:01Z) - Attribute Graph Clustering via Learnable Augmentation [71.36827095487294]
対照的なディープグラフクラスタリング(CDGC)は、異なるクラスタにノードをグループ化するために対照的な学習を利用する。
本稿では,高品質な増分サンプルのための学習可能な増分器を導入するための,Learningable Augmentation (textbfAGCLA) を用いた属性グラフクラスタリング手法を提案する。
論文 参考訳(メタデータ) (2022-12-07T10:19:39Z) - SemanticCAP: Chromatin Accessibility Prediction Enhanced by Features
Learning from a Language Model [3.0643865202019698]
本稿では、ゲノムのアクセス可能な領域を特定するためのSemanticCAPという新しいソリューションを提案する。
遺伝子配列のコンテキストをモデル化する遺伝子モデルを導入し、遺伝子配列の効果的な表現を提供する。
公開ベンチマークによる他のシステムと比較すると,我々のモデルは性能が向上することが判明した。
論文 参考訳(メタデータ) (2022-04-05T11:47:58Z) - SubOmiEmbed: Self-supervised Representation Learning of Multi-omics Data
for Cancer Type Classification [4.992154875028543]
マルチオミクスデータの統合と解析により腫瘍の広い視野が得られ,臨床診断の精度が向上する。
SubOmiEmbedは、非常に小さなネットワークを持つベースラインであるOmiEmbedに匹敵する結果を生成する。
この作業は、突然変異に基づくゲノムデータを統合するために改善される。
論文 参考訳(メタデータ) (2022-02-03T16:39:09Z) - Scientific Language Models for Biomedical Knowledge Base Completion: An
Empirical Study [62.376800537374024]
我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。
LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
論文 参考訳(メタデータ) (2021-06-17T17:55:33Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。