論文の概要: Fold-CP: A Context Parallelism Framework for Biomolecular Modeling

• arxiv url: http://arxiv.org/abs/2603.14806v1
• Date: Mon, 16 Mar 2026 04:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.046726
• Title: Fold-CP: A Context Parallelism Framework for Biomolecular Modeling
• Title（参考訳）: Fold-CP: 生体分子モデリングのためのコンテキスト並列化フレームワーク
• Authors: Dejun Lin, Simon Chu, Vishanth Iyer, Youhan Lee, John St John, Kevin Boyd, Brian Roland, Xiaowei Ren, Guoqing Zhou, Zhonglin Cao, Polina Binder, Yuliya Zhautouskaya, Jakub Zakrzewski, Maximilian Stadler, Kyle Gion, Yuxing Peng, Xi Chen, Tianjing Zhang, Philipp Junk, Michelle Dimon, Paweł Gniewek, Fabian Ortega, McKinley Polen, Ivan Grubisic, Ali Bashir, Graham Holt, Danny Kovtun, Matthias Grass, Luca Naef, Rui Wang, Jian Peng, Anthony Costa, Saee Paliwal, Eddie Calleja, Timur Rvachov, Neha Tadimeti, Roy Tal, Emine Kucukbenli,
• Abstract要約: 本稿では,文脈並列化フレームワークであるNVIDIA BioNeMo Fold-CPを提案する。 私たちはBoltzモデルをオープンソースリファレンスアーキテクチャとして使用しています。 我々は、密接な三角形の更新と、ウィンドウバッチされた局所的な注意の、不規則でデータに依存しないパターンの両方を効率的に並列化するカスタム多次元プリミティブを実装した。
• 参考スコア（独自算出の注目度）: 11.44600151695527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding cellular machinery requires atomic-scale reconstruction of large biomolecular assemblies. However, predicting the structures of these systems has been constrained by hardware memory requirements of models like AlphaFold 3, imposing a practical ceiling of a few thousand residues that can be processed on a single GPU. Here we present NVIDIA BioNeMo Fold-CP, a context parallelism framework that overcomes this barrier by distributing the inference and training pipelines of co-folding models across multiple GPUs. We use the Boltz models as open source reference architectures and implement custom multidimensional primitives that efficiently parallelize both the dense triangular updates and the irregular, data-dependent pattern of window-batched local attention. Our approach achieves efficient memory scaling; for an N-token input distributed across P GPUs, per-device memory scales as $O(N^2/P)$, enabling the structure prediction of assemblies exceeding 30,000 residues on 64 NVIDIA B300 GPUs. We demonstrate the scientific utility of this approach through successful developer use cases: Fold-CP enabled the scoring of over 90% of Comprehensive Resource of Mammalian protein complexes (CORUM) database, as well as folding of disease-relevant PI4KA lipid kinase complex bound to an intrinsically disordered region without cropping. By providing a scalable pathway for modeling massive systems with full global context, Fold-CP represents a significant step toward the realization of a virtual cell.
• Abstract（参考訳）: 細胞機械を理解するには、大きな生体分子集合体の原子スケールの再構築が必要である。 しかし、これらのシステムの構造を予測することは、AlphaFold 3のようなモデルのハードウェアメモリ要件によって制約されている。 ここでは、複数のGPUにまたがる共フォールディングモデルの推論とトレーニングパイプラインを分散することにより、この障壁を克服するコンテキスト並列化フレームワークであるNVIDIA BioNeMo Fold-CPを紹介する。 我々はBoltzモデルをオープンソースリファレンスアーキテクチャとして使用し、密接な三角形更新と、ウィンドウバッチした局所的注意の異常なデータ依存パターンの両方を効率的に並列化するカスタム多次元プリミティブを実装した。 提案手法は,PGPUに分散したN-token入力に対して,デバイス毎のメモリスケールを$O(N^2/P)$とすることで,64 NVIDIA B300 GPU上の3万残基を超えるアセンブリの構造予測を可能にする。 Fold-CPはCORUM (Comprehensive Resource of Mammalian protein Complex) データベースの90%以上を評価でき、また病気関連PI4KAリポリンキナーゼ複合体の折り畳みも可能である。 Fold-CPは、グローバルなコンテキストで大規模システムをモデリングするためのスケーラブルな経路を提供することによって、仮想セルの実現に向けた重要なステップを表現している。

関連論文リスト

• Scalable Training of Mixture-of-Experts Models with Megatron Core [26.9162079065285]
  MOE(Scaling Mixture-of-Experts)トレーニングでは、密集したモデルに欠けているシステムの課題が導入されている。 各トークンは専門家のサブセットのみを活性化するため、このスパーシリティにより、トータルパラメータはトーケン計算よりもはるかに高速に成長できる。 メモリ(微細な再計算,オフロード,通信,計算)の統合最適化により,MoEトレーニングにおけるこれらの課題に対処する。
  論文  参考訳（メタデータ） (2026-03-08T15:42:43Z)
• GSPN-2: Efficient Parallel Sequence Modeling [101.33780567131716]
  一般化空間伝搬ネットワーク(GSPN)は2次自己アテンションを直線走査型伝搬方式に置き換えることでこの問題に対処する。 GSPN-2は、視覚アプリケーションにおけるグローバル空間コンテキストをモデル化するための新しい効率フロンティアを確立する。
  論文  参考訳（メタデータ） (2025-11-28T07:26:45Z)
• Preparation of Fractal-Inspired Computational Architectures for Advanced Large Language Model Analysis [50.11146543029802]
  FractalNetはフラクタルにインスパイアされた高度な大規模言語モデル解析のための計算アーキテクチャである。 新しいセットアップにはテンプレート駆動ジェネレータ、ランナー、評価フレームワークが含まれており、畳み込み、正規化、アクティベーション、ドロップアウト層の体系的な置換によって、1200以上のニューラルネットワークを生成できる。 本論文は, フラクタル設計を自動建築探査の実用的で資源効率のよい方法として位置づけている。
  論文  参考訳（メタデータ） (2025-11-10T17:31:39Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Distributed Equivariant Graph Neural Networks for Large-Scale Electronic Structure Prediction [76.62155593340763]
  密度汎関数理論(DFT)データに基づいて訓練された等価グラフニューラルネットワーク(eGNN)は、前例のない規模で電子構造予測を行う可能性がある。 しかし、このタスクに必要なグラフ表現は密結合である傾向がある。 本稿では,直接GPU通信を利用する分散eGNNの実装と,入力グラフの分割戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-04T23:53:47Z)
• Unified Cross-Scale 3D Generation and Understanding via Autoregressive Modeling [32.45851798752336]
  クロススケールな3D生成と理解のための統合自己回帰フレームワークUni-3DARを提案する。 コアとなるのはオクツリーデータ構造に基づく粗大なトークンライザで、多様な3D構造をコンパクトな1Dトークンシーケンスに圧縮する。 圧縮によって引き起こされる動的に異なるトークン位置の課題に対処するために,マスク付き次世代予測戦略を導入する。
  論文  参考訳（メタデータ） (2025-03-20T16:07:04Z)
• fVDB: A Deep-Learning Framework for Sparse, Large-Scale, and High-Performance Spatial Intelligence [55.582429009401956]
  fVDBは、大規模な3Dデータのディープラーニングのための新しいフレームワークである。 私たちのフレームワークは、既存のパイプラインとの相互運用性を可能にするPyTorchと完全に統合されています。
  論文  参考訳（メタデータ） (2024-07-01T20:20:33Z)
• DeformUX-Net: Exploring a 3D Foundation Backbone for Medical Image Segmentation with Depthwise Deformable Convolution [26.746489317083352]
  本稿では,CNNモデルのパイオニアである3D DeformUX-Netを紹介する。 計算効率に長範囲依存を適応させるため,体積変形可能な畳み込みを奥行き設定で再検討する。 我々の経験的評価は、3D DeformUX-Netが既存の最先端のViTや大規模なカーネル畳み込みモデルよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2023-09-30T00:33:41Z)
• Distributed Out-of-Memory NMF on CPU/GPU Architectures [1.0051474951635875]
  本稿では,HPCシステムに対する非負行列分解(NMF)アルゴリズムのメモリ外実装を提案する。 ベンチマークの結果、CPUベースのNMFkよりもGPUを使用した新しい実装により、32Xから76倍のスピードアップが大幅に改善された。
  論文  参考訳（メタデータ） (2022-02-19T03:49:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。