論文の概要: iEnhancer-ELM: Improve Enhancer Identification by Extracting Multi-scale
Contextual Information based on Enhancer Language Models
- arxiv url: http://arxiv.org/abs/2212.01495v1
- Date: Sat, 3 Dec 2022 00:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 18:54:17.638946
- Title: iEnhancer-ELM: Improve Enhancer Identification by Extracting Multi-scale
Contextual Information based on Enhancer Language Models
- Title(参考訳): iEnhancer-ELM:エンハンサー言語モデルに基づくマルチスケール文脈情報抽出によるエンハンサー識別の改善
- Authors: Jiahao Li, Zhourun Wu, Wenhao Lin, Jiawei Luo, Jun Zhang, Qingcai Chen
and Junjie Chen
- Abstract要約: エンハンサー言語モデルに基づくマルチスケールエンハンサー識別法(iEnhancer-ELM)を提案する。
30の生物学的パターンを見つけ、40%(12/30)が広く使われているモチーフツール(STREME)と一般的なデータセット(JASPAR)によって検証される。
我々のモデルには、エンハンサーの生物学的メカニズムを明らかにする能力がある。
- 参考スコア(独自算出の注目度): 24.136656111333718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivation: Enhancers are important cis-regulatory elements that regulate a
wide range of biological functions and enhance the transcription of target
genes. Although many state-of-the-art computational methods have been proposed
in order to efficiently identify enhancers, learning globally contextual
features is still one of the challenges for computational methods. Regarding
the similarities between biological sequences and natural language sentences,
the novel BERT-based language techniques have been applied to extracting
complex contextual features in various computational biology tasks such as
protein function/structure prediction. To speed up the research on enhancer
identification, it is urgent to construct a BERT-based enhancer language model.
Results: In this paper, we propose a multi-scale enhancer identification
method (iEnhancer-ELM) based on enhancer language models, which treat enhancer
sequences as natural language sentences that are composed of k-mer nucleotides.
iEnhancer-ELM can extract contextual information of multi-scale k-mers with
positions from raw enhancer sequences. Benefiting from the complementary
information of k-mers in multi-scale, we ensemble four iEnhancer-ELM models for
improving enhancer identification. The benchmark comparisons show that our
model outperforms state-of-the-art methods. By the interpretable attention
mechanism, we finds 30 biological patterns, where 40% (12/30) are verified by a
widely used motif tool (STREME) and a popular dataset (JASPAR), demonstrating
our model has a potential ability to reveal the biological mechanism of
enhancer.
Availability: The source code are available at
https://github.com/chen-bioinfo/iEnhancer-ELM
Contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.com;
Supplementary information: Supplementary data are available at Bioinformatics
online.
- Abstract(参考訳): モチベーション:エンハンサーは、幅広い生物学的機能を制御し、標的遺伝子の転写を促進する重要なシス調節要素である。
エンハンサーを効率的に識別するために多くの最先端計算手法が提案されているが、グローバルな文脈的特徴の学習は依然として計算手法の課題の1つである。
生物配列と自然言語文の類似性について,タンパク質機能・構造予測などの様々な計算生物学タスクにおける複雑な文脈的特徴の抽出にbertを用いた新しい言語手法が適用されている。
エンハンサー識別の研究を高速化するため,BERTに基づくエンハンサー言語モデルの構築が急務である。
結果: 本論文では,k-merヌクレオチドからなる自然言語文としてエンハンサー列を扱うエンハンサー言語モデルに基づくマルチスケールエンハンサー識別法(iEnhancer-ELM)を提案する。
iEnhancer-ELMは、生のエンハンサー配列から位置を持つマルチスケールkマーのコンテキスト情報を抽出することができる。
マルチスケールでの k-mers の相補的情報から, エンハンサー同定を改善するために4つのiEnhancer-ELMモデルを組み込んだ。
ベンチマークの結果,我々のモデルは最先端手法よりも優れていた。
解釈可能な注意機構により、40パーセント(12/30)が広く使われているモチーフツール(STREME)と一般的なデータセット(JASPAR)によって検証され、このモデルがエンハンサーの生物学的メカニズムを明らかにする可能性を実証する。
ソースコードはhttps://github.com/chen-bioinfo/ienhancer-elm contact: junjiechen@hit.edu.cn and junjie.chen.hit@gmail.comで入手できる。
関連論文リスト
- Diversifying Knowledge Enhancement of Biomedical Language Models using
Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。
バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。
計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文 参考訳(メタデータ) (2023-12-21T14:26:57Z) - Genetic InfoMax: Exploring Mutual Information Maximization in
High-Dimensional Imaging Genetics Studies [50.11449968854487]
遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。
画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。
本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
論文 参考訳(メタデータ) (2023-09-26T03:59:21Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Cross-Language Speech Emotion Recognition Using Multimodal Dual
Attention Transformers [5.538923337818467]
最先端のシステムでは、言語間の設定でパフォーマンスが向上することができない。
言語間SERを改善するためのマルチモーダルデュアルアテンショントランスモデルを提案する。
論文 参考訳(メタデータ) (2023-06-23T22:38:32Z) - t-SMILES: A Scalable Fragment-based Molecular Representation Framework
for De Novo Molecule Generation [9.660168004209712]
本研究では, t-SMILESと呼ばれる, フレキシブル, フラグメントベース, マルチスケールな分子表現フレームワークを提案する。
フラグメント化された分子グラフから生成された全二分木上で幅優先探索を行うことにより得られるSMILES型文字列を用いて分子を記述する。
従来のSMILES、DeepSMILES、SELFIES、ベースラインモデルをゴール指向タスクで大幅に上回っている。
論文 参考訳(メタデータ) (2023-01-04T21:41:01Z) - Attribute Graph Clustering via Learnable Augmentation [71.36827095487294]
対照的なディープグラフクラスタリング(CDGC)は、異なるクラスタにノードをグループ化するために対照的な学習を利用する。
本稿では,高品質な増分サンプルのための学習可能な増分器を導入するための,Learningable Augmentation (textbfAGCLA) を用いた属性グラフクラスタリング手法を提案する。
論文 参考訳(メタデータ) (2022-12-07T10:19:39Z) - SemanticCAP: Chromatin Accessibility Prediction Enhanced by Features
Learning from a Language Model [3.0643865202019698]
本稿では、ゲノムのアクセス可能な領域を特定するためのSemanticCAPという新しいソリューションを提案する。
遺伝子配列のコンテキストをモデル化する遺伝子モデルを導入し、遺伝子配列の効果的な表現を提供する。
公開ベンチマークによる他のシステムと比較すると,我々のモデルは性能が向上することが判明した。
論文 参考訳(メタデータ) (2022-04-05T11:47:58Z) - SubOmiEmbed: Self-supervised Representation Learning of Multi-omics Data
for Cancer Type Classification [4.992154875028543]
マルチオミクスデータの統合と解析により腫瘍の広い視野が得られ,臨床診断の精度が向上する。
SubOmiEmbedは、非常に小さなネットワークを持つベースラインであるOmiEmbedに匹敵する結果を生成する。
この作業は、突然変異に基づくゲノムデータを統合するために改善される。
論文 参考訳(メタデータ) (2022-02-03T16:39:09Z) - Scientific Language Models for Biomedical Knowledge Base Completion: An
Empirical Study [62.376800537374024]
我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。
LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
論文 参考訳(メタデータ) (2021-06-17T17:55:33Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。