論文の概要: Leveraging State Space Models in Long Range Genomics

• arxiv url: http://arxiv.org/abs/2504.06304v1
• Date: Mon, 07 Apr 2025 18:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:53.650558
• Title: Leveraging State Space Models in Long Range Genomics
• Title（参考訳）: 長距離ゲノミクスにおける状態空間モデルの活用
• Authors: Matvei Popov, Aymen Kallala, Anirudha Ramesh, Narimane Hennouni, Shivesh Khaitan, Rick Gentry, Alain-Sam Cohen,
• Abstract要約: 長距離依存関係はゲノム構造や機能を理解する上で重要であるが、ほとんどの従来の手法はそれらと競合する。 我々は、長距離ゲノミクスモデリングタスクにおいて、2つのSSMにインスパイアされたアーキテクチャをベンチマークすることで、ステートスペースモデル(SSM)を有望な代替手段として検討する。 SSMは、トランスフォーマーのパフォーマンスにマッチし、複数のタスクにまたがる印象的なゼロショット外挿を示し、トレーニング中に見られるものより10倍から100倍長いコンテキストを処理する。
• 参考スコア（独自算出の注目度）: 1.130790932059036
• License:
• Abstract: Long-range dependencies are critical for understanding genomic structure and function, yet most conventional methods struggle with them. Widely adopted transformer-based models, while excelling at short-context tasks, are limited by the attention module's quadratic computational complexity and inability to extrapolate to sequences longer than those seen in training. In this work, we explore State Space Models (SSMs) as a promising alternative by benchmarking two SSM-inspired architectures, Caduceus and Hawk, on long-range genomics modeling tasks under conditions parallel to a 50M parameter transformer baseline. We discover that SSMs match transformer performance and exhibit impressive zero-shot extrapolation across multiple tasks, handling contexts 10 to 100 times longer than those seen during training, indicating more generalizable representations better suited for modeling the long and complex human genome. Moreover, we demonstrate that these models can efficiently process sequences of 1M tokens on a single GPU, allowing for modeling entire genomic regions at once, even in labs with limited compute. Our findings establish SSMs as efficient and scalable for long-context genomic analysis.
• Abstract（参考訳）: 長距離依存関係はゲノム構造や機能を理解する上で重要であるが、ほとんどの従来の手法はそれらと競合する。 広範に採用されているトランスフォーマーベースのモデルは、短いコンテキストのタスクでは優れているが、注意モジュールの2次計算の複雑さと、トレーニングで見られるものよりも長いシーケンスへの外挿ができないために制限されている。 本研究では、50Mパラメータトランスフォーマーベースラインに平行な条件下での長距離ゲノミクスモデリングタスクにおいて、2つのSSMにインスパイアされたアーキテクチャであるCaduceusとHawkをベンチマークすることで、ステートスペースモデル(SSM)を有望な代替手段として検討する。 我々は、SSMがトランスフォーマーの性能にマッチし、複数のタスクにまたがる印象的なゼロショット補間を示し、トレーニング中に見られるものよりも10倍から100倍長いコンテキストを処理し、より一般化可能な表現が、長く複雑なヒトゲノムをモデル化するのにより適していることを示す。 さらに、これらのモデルが1つのGPU上で100Mトークンのシーケンスを効率的に処理できることを示し、計算能力に制限のある実験室でも一度に全ゲノム領域をモデル化できることを示した。 長文ゲノミクス解析において,SSMは効率的かつスケーラブルであることが確認された。

関連論文リスト

• Towards a Real-Time Simulation of Elastoplastic Deformation Using Multi-Task Neural Networks [0.0]
  本研究では, 適切な分解, 長期記憶ネットワーク, マルチタスク学習を組み合わせ, 弾塑性変形をリアルタイムで正確に予測するサロゲート・モデリング・フレームワークを提案する。 このフレームワークは、様々な状態変数に対して0.40%未満の平均絶対誤差を達成する。 我々の場合、事前訓練されたマルチタスクモデルでは、20のサンプルしか持たない追加変数を効果的にトレーニングすることができ、複雑なシナリオの深い理解を示すことができます。
  論文  参考訳（メタデータ） (2024-11-08T14:04:17Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Micro-Macro Consistency in Multiscale Modeling: Score-Based Model Assisted Sampling of Fast/Slow Dynamical Systems [0.0]
  物理に基づくマルチ時間動的システムの研究において,サンプリングの高度化のための技術が開発されている。 機械学習の分野では、生成モデルの一般的な目標は、この密度から経験的なサンプルをトレーニングした後、ターゲット密度からサンプリングすることである。 本研究では,SGMをこのような結合フレームワークで利用することにより,マルチスケールな動的システムにおけるサンプリングを改善することができることを示す。
  論文  参考訳（メタデータ） (2023-12-10T00:46:37Z)
• Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
  ConvS5は、長距離時間モデリングのための効率的な変種である。 トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-10-30T16:11:06Z)
• Multitask Learning for Time Series Data with 2D Convolution [32.72419542473646]
  マルチタスク学習(MTL)は、密接に関連する一連のタスクを同時に処理できる統一モデルを開発することを目的としている。 本稿では,MTLの時系列分類問題への適用について検討する。 現状の1D畳み込みモデルとMLLを統合した場合,RTCモデルの性能は実際に低下することを示す。
  論文  参考訳（メタデータ） (2023-10-05T22:00:17Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。