論文の概要: Evaluating Post-hoc Explanations of the Transformer-based Genome Language Model DNABERT-2

• arxiv url: http://arxiv.org/abs/2604.21690v1
• Date: Thu, 23 Apr 2026 13:56:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.571604
• Title: Evaluating Post-hoc Explanations of the Transformer-based Genome Language Model DNABERT-2
• Title（参考訳）: トランスフォーマーに基づくゲノムモデルDNABERT-2のポストホック説明の評価
• Authors: Isabel Kurth, Paulo Yanez Sarmiento, Bernhard Y. Renard,
• Abstract要約: 我々は,アテンション機構にレイヤワイド関連伝播の拡張であるAttnLRPを適用し,最先端のgLM DNABERT-2に適用する。 そこで我々はトークンとヌクレオチドから説明を伝達する手法を提案する。 以上の結果から, AttnLRPは既知の生物学的パターンに対応する信頼性の高い説明を得られることが示唆された。
• 参考スコア（独自算出の注目度）: 0.9176056742068814
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Explaining deep neural network predictions on genome sequences enables biological insight and hypothesis generation-often of greater interest than predictive performance alone. While explanations of convolutional neural networks (CNNs) have been shown to capture relevant patterns in genome sequences, it is unclear whether this transfers to more expressive Transformer-based genome language models (gLMs). To answer this question, we adapt AttnLRP, an extension of layer-wise relevance propagation to the attention mechanism, and apply it to the state-of-the-art gLM DNABERT-2. Thereby, we propose strategies to transfer explanations from token and nucleotide level. We evaluate the adaption of AttnLRP on genomic datasets using multiple metrics. Further, we provide an extensive comparison between the explanations of DNABERT-2 and a baseline CNN. Our results demonstrate that AttnLRP yields reliable explanations corresponding to known biological patterns. Hence, like CNNs, gLMs can also help derive biological insights. This work contributes to the explainability of gLMs and addresses the comparability of relevance attributions across different architectures.
• Abstract（参考訳）: ゲノム配列上のディープニューラルネットワークの予測を説明することで、予測性能のみよりも大きな関心を持つ生物学的洞察と仮説生成が可能になる。 畳み込みニューラルネットワーク(CNN)の説明は、ゲノム配列の関連パターンを捉えることが示されているが、より表現力のあるトランスフォーマーベースのゲノム言語モデル(gLM)に移行するかどうかは不明である。 そこで我々は,アテンション機構にレイヤワイド関連伝播の拡張であるAttnLRPを適用し,最先端のgLM DNABERT-2に適用する。 そこで我々はトークンとヌクレオチドから説明を伝達する手法を提案する。 複数の指標を用いてAttnLRPのゲノムデータセットへの適応性を評価する。 さらに,DNABERT-2とベースラインCNNの詳細な比較を行った。 以上の結果から, AttnLRPは既知の生物学的パターンに対応する信頼性の高い説明を得られることが示唆された。 したがって、CNNと同様、gLMも生物学的洞察を導き出すのに役立つ。 この研究はgLMの説明可能性に貢献し、異なるアーキテクチャにおける関連属性の相違に対処する。

関連論文リスト

• GRAPE: Heterogeneous Graph Representation Learning for Genetic Perturbation with Coding and Non-Coding Biotype [51.58774936662233]
  遺伝子制御ネットワーク(GRN)の構築は、遺伝的摂動の影響を理解し予測するために不可欠である。 本研究では,事前学習した大規模言語モデルとDNAシークエンスモデルを用いて,遺伝子記述やDNAシークエンスデータから特徴を抽出する。 我々は、遺伝子摂動において初めて遺伝子バイオタイプ情報を導入し、細胞プロセスの制御において異なるバイオタイプを持つ遺伝子の異なる役割をシミュレートした。
  論文  参考訳（メタデータ） (2025-05-06T03:35:24Z)
• Interpretable High-order Knowledge Graph Neural Network for Predicting Synthetic Lethality in Human Cancers [16.6037911734201]
  合成致死性(SL)は癌治療において有望な遺伝子相互作用である。 最近のSL予測手法は知識グラフをグラフニューラルネットワーク(GNN)に統合する DGIB4SL(Diverse Graph Information Bottleneck for Synthetic Lethality)を提案する。
  論文  参考訳（メタデータ） (2025-03-08T04:37:28Z)
• GENERator: A Long-Context Generative Genomic Foundation Model [66.46537421135996]
  本稿では,98k塩基対 (bp) と1.2Bパラメータからなるゲノム基盤モデル GENERator を提案する。 DNAの386Bbpからなる拡張データセットに基づいて、GENERatorは、確立されたベンチマークと新しく提案されたベンチマークの両方で最先端のパフォーマンスを実証する。 また、特に特定のアクティビティプロファイルを持つエンハンサーシーケンスを即応的に生成することで、シーケンス最適化において大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-11T05:39:49Z)
• GPO-VAE: Modeling Explainable Gene Perturbation Responses utilizing GRN-Aligned Parameter Optimization [15.892401495784078]
  本稿では,GRNによる遺伝子制御ネットワークによって強化された,説明可能な変分オートエンコーダ(VAE)であるGPO-VAEを提案する。 我々の主要なアプローチは、GRN対応の説明可能性に対する潜伏摂動効果に関連する学習可能なパラメータを最適化することである。
  論文  参考訳（メタデータ） (2025-01-31T09:08:52Z)
• VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling [60.91599380893732]
  VQDNAは、ゲノムボキャブラリ学習の観点からゲノムのトークン化を改良する汎用フレームワークである。 ベクトル量子化されたコードブックを学習可能な語彙として活用することにより、VQDNAはゲノムをパターン認識の埋め込みに適応的にトークン化することができる。
  論文  参考訳（メタデータ） (2024-05-13T20:15:03Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Inference of dynamical gene regulatory networks from single-cell data with physics informed neural networks [0.0]
  本稿では,物理インフォームドニューラルネットワーク(PINN)を用いて,予測的,動的 GRN のパラメータを推定する方法について述べる。 具体的には, 分岐挙動を示すGRNについて検討し, 細胞分化をモデル化する。
  論文  参考訳（メタデータ） (2024-01-14T21:43:10Z)
• Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction [3.2274401541163322]
  本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。 提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-04-13T21:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。