論文の概要: SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

• arxiv url: http://arxiv.org/abs/2510.02734v1
• Date: Fri, 03 Oct 2025 05:34:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.27788
• Title: SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations
• Title（参考訳）: SAE-RNA:RNA言語モデルの解釈のためのスパースオートエンコーダモデル
• Authors: Taehan Kim, Sangdae Nam,
• Abstract要約: 本稿では,RiNALMoの表現を分析し,それを既知のヒトレベルの生物学的特徴にマッピングする解釈可能性モデルであるSAE-RNAを提案する。 我々の研究は、RNAの解釈可能性について、エンド・ツー・エンドのリトレーニングなしで、事前訓練された埋め込みにおける概念発見として捉えている。
• 参考スコア（独自算出の注目度）: 3.2228025627337864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning, particularly with the advancement of Large Language Models, has transformed biomolecular modeling, with protein advances (e.g., ESM) inspiring emerging RNA language models such as RiNALMo. Yet how and what these RNA Language Models internally encode about messenger RNA (mRNA) or non-coding RNA (ncRNA) families remains unclear. We present SAE- RNA, interpretability model that analyzes RiNALMo representations and maps them to known human-level biological features. Our work frames RNA interpretability as concept discovery in pretrained embeddings, without end-to-end retraining, and provides practical tools to probe what RNA LMs may encode about ncRNA families. The model can be extended to close comparisons between RNA groups, and supporting hypothesis generation about previously unrecognized relationships.
• Abstract（参考訳）: ディープラーニング、特に大規模言語モデルの進歩は、生物分子モデリングを変革し、タンパク質の進化(例えばESM)がRiNALMoのような新しいRNA言語モデルに刺激を与えている。 しかし、これらのRNA言語モデルがメッセンジャーRNA (mRNA) または非コードRNA (ncRNA) ファミリーを内部的にコードしているかは、まだ不明である。 本稿では,RiNALMoの表現を分析し,それを既知のヒトレベルの生物学的特徴にマッピングする解釈可能性モデルであるSAE-RNAを提案する。 我々の研究は、RNAの解釈可能性を、エンド・ツー・エンドのリトレーニングなしで、事前訓練された埋め込みにおける概念発見として捉え、RNA LMがncRNAファミリーをコードする可能性があるかを調査するための実用的なツールを提供する。 このモデルはRNAグループ間の密接な比較に拡張することができ、これまで認識されていなかった関係に関する仮説生成をサポートすることができる。

関連論文リスト

• RNAMunin: A Deep Machine Learning Model for Non-coding RNA Discovery [0.0]
  非コードRNA(ncRNA)は細菌や古細菌の生理、ストレス応答、代謝の調節に重要である。 本稿では、ゲノム配列だけでncRNAを見つけることができる機械学習(ML)モデルRNAMuninを提案する。 RNAMuninは、サンフランシスコエスチュアリ16のサンプルから約60Gbpの長読型メタジェノムから抽出されたRfam配列に基づいて訓練されている。
  論文  参考訳（メタデータ） (2025-07-16T06:33:50Z)
• Life-Code: Central Dogma Modeling with Multi-Omics Sequence Unification [55.98854157265578]
  Life-Codeは、様々な生物学的機能にまたがる包括的なフレームワークである。 本稿では、RNAを逆転写し、アミノ酸をヌクレオチド配列に変換することで、マルチオミクスデータを統合する統一パイプラインを提案する。 Life-Codeは3つのオミクスにまたがる様々なタスクの最先端の結果を達成し、マルチオミクス分析と解釈の進歩の可能性を強調している。
  論文  参考訳（メタデータ） (2025-02-11T06:53:59Z)
• RNA-GPT: Multimodal Generative System for RNA Sequence Understanding [6.611255836269348]
  RNAは生命に不可欠な遺伝情報を運ぶ必須分子である。 この重要性にもかかわらず、RNAの研究はしばしば、この話題で利用可能な膨大な文献によって妨げられている。 本稿では,RNA発見の簡易化を目的としたマルチモーダルRNAチャットモデルであるRNA-GPTを紹介する。
  論文  参考訳（メタデータ） (2024-10-29T06:19:56Z)
• BEACON: Benchmark for Comprehensive RNA Tasks and Language Models [60.02663015002029]
  本稿では、最初の包括的なRNAベンチマークBEACON(textbfBEnchmtextbfArk for textbfCOmprehensive RtextbfNA Task and Language Models)を紹介する。 まずBEACONは、構造解析、機能研究、工学的応用を網羅した、これまでの広範囲にわたる研究から導かれた13のタスクから構成される。 第2に、CNNのような従来のアプローチや、言語モデルに基づく高度なRNA基盤モデルなど、さまざまなモデルについて検討し、これらのモデルのタスク固有のパフォーマンスに関する貴重な洞察を提供する。 第3に、重要なRNA言語モデルコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-14T19:39:19Z)
• RiNALMo: General-Purpose RNA Language Models Can Generalize Well on Structure Prediction Tasks [1.1764999317813143]
  リボ核酸言語モデル(RiNALMo)を導入し,RNAの隠れコードを明らかにする。 RiNALMoは、これまでで最大のRNA言語モデルであり、6億5千万のパラメータが3600万の非コーディングRNA配列で事前訓練されている。
  論文  参考訳（メタデータ） (2024-02-29T14:50:58Z)
• Description Generation using Variational Auto-Encoders for precursor microRNA [5.6710852973206105]
  本稿では、Vari Auto-Encodersによる生成モデリングを利用して、pre-miRNAの潜伏因子を明らかにする新しいフレームワークを提案する。 フレームワークを分類に適用し、高い再構成と分類性能を得るとともに、正確な記述も開発する。
  論文  参考訳（メタデータ） (2023-11-29T15:41:45Z)
• scHyena: Foundation Model for Full-Length Single-Cell RNA-Seq Analysis in Brain [46.39828178736219]
  我々はこれらの課題に対処し、脳内のscRNA-seq解析の精度を高めるために設計された基礎モデルであるscHyenaを紹介する。 scHyenaは、線形適応層、遺伝子埋め込みによる位置エンコーディング、および双方向ハイエナ演算子を備えている。 これにより、生データから情報を失うことなく、全長の scRNA-seq データを処理できる。
  論文  参考訳（メタデータ） (2023-10-04T10:30:08Z)
• Accurate RNA 3D structure prediction using a language model-based deep learning approach [50.193512039121984]
  RhoFold+はRNA言語モデルに基づくディープラーニング手法で、配列から単一鎖RNAの3次元構造を正確に予測する。 RhoFold+はRNA 3D構造予測のための完全に自動化されたエンドツーエンドパイプラインを提供する。
  論文  参考訳（メタデータ） (2022-07-04T17:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。