論文の概要: TurboPairFormer: Fast and Stable Protein Folding Model Training with an Optimized Triangle Attention Kernel

• arxiv url: http://arxiv.org/abs/2610.05854v1
• Date: Mon, 05 Oct 2026 06:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:45:20.191992
• Title: TurboPairFormer: Fast and Stable Protein Folding Model Training with an Optimized Triangle Attention Kernel
• Title（参考訳）: TurboPairFormer: 最適化三角形注意カーネルを用いた高速かつ安定なタンパク質折り畳みモデルトレーニング
• Abstract要約: 三角形の注意はAlphaFold3スタイルの生体分子モデルにおけるコア計算であり、トークン数に3乗のコストがかかる。 オープンソースのバックエンドは、確率再計算、浮動小数点アトミック、あるいは完全なスコアグレードストレージを通じて、これらの削減を処理します。 本稿では,NVIDIA GPUの三角アテンション実装であるTurboPairFormerについて述べる。
• 参考スコア（独自算出の注目度）: 22.18221320831337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Triangular attention is a core computation in AlphaFold3-style biomolecular models, with cubic cost in token count. Its shared pair bias adds a gradient reduction across attention slices to the usual reductions over queries and keys. The open-source backends we examine handle these reductions through repeated probability recomputation, floating-point atomics, or full score-gradient storage. Separately, computing the softmax backward correction from BF16-rounded forward outputs loses numerical precision. We present TurboPairFormer, a triangular attention implementation for NVIDIA Hopper GPUs that addresses both issues. Our key-tile-parallel backward algorithm recomputes each probability tile once for the query, key, value, and pair-bias gradients, using ordered partial reductions for deterministic accumulation without floating-point atomics or full score-gradient storage. Output-residual compensation retains a BF16 approximation of the output-rounding residual to compute the backward correction more accurately in FP32, without changing the BF16 output. With BF16 inputs at crop sizes 384, 640, and 768 and head dimensions 16 and 32, TurboPairFormer achieves the lowest mean query, key, and pair-bias gradient RMSE against an FP64 reference among the implementations compared in this paper. Residual compensation reduces these RMSE values by 28-47% in controlled ablations. All four gradients are bitwise identical across five repeated calls in all 600 input cases under fixed execution conditions. Integrated into OpenFold3 with our triangle multiplication kernels, TurboPairFormer achieves the lowest GPU computation time per optimizer step among the evaluated backend configurations on 16 H100 GPUs, with speedups of $1.73\times$ over OpenFold3's Triton backend and $1.13\times$ over cuEquivariance at crop size 768.
• Abstract（参考訳）: 三角形の注意はAlphaFold3スタイルの生体分子モデルにおけるコア計算であり、トークン数に3乗のコストがかかる。 その共有ペアバイアスは、クエリとキーの通常の削減に注意スライスをまたいだ勾配の低下を追加する。 提案するオープンソースバックエンドは,確率再計算,浮動小数点アトミック,スコアグラディエントストレージを繰り返すことで,これらの削減を処理します。 第二に、BF16を囲む前方出力からソフトマックスの後方補正を計算すると、数値精度が低下する。 本稿では,NVIDIA Hopper GPUの三角アテンション実装であるTurboPairFormerについて述べる。 我々のキータイル並列逆アルゴリズムは、浮動小数点アトミックや全スコア階調ストレージを使わずに、決定的蓄積の順序付き部分的削減を用いて、クエリ、キー、値、ペアバイアス勾配に対して各確率タイルを再計算する。 出力残差補償は出力周残差のBF16近似を保持し、BF16出力を変更することなくFP32の後方補正をより正確に計算する。 作物サイズ384, 640, 768のBF16入力とヘッドディメンジョン16, 32では,本論文で比較したFP64参照に対して,TurboPairFormerは最低平均クエリ,キー,ペアバイアス勾配RMSEを達成する。 残留補償は、これらのRMSE値をコントロールされたアブレーションで28-47%削減する。 4つの勾配は、固定実行条件下で600の入力ケースすべてにおいて、5回の繰り返し呼び出しでビット単位で同一である。 OpenFold3に三角形の乗算カーネルを組み込んだTurboPairFormerは、評価された16 H100 GPU上のバックエンド構成のうち、オプティマイザ毎に最低のGPU計算時間を達成し、OpenFold3のTritonバックエンドよりも1.73\times$、作物サイズ768でのcuEquivarianceよりも1.13\times$である。

関連論文リスト

• VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
  トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。 V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。 ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
  論文  参考訳（メタデータ） (2026-09-14T16:17:35Z)
• Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
  ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。 ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
  論文  参考訳（メタデータ） (2026-09-03T17:04:26Z)
• CurveFP: Co-Designing Numerical Representation and Product Arithmetic for Language Models [0.0]
  ブロックスケールのファミリーであるCurveFPを導入する。 代数をトレーニング用CurveFP8 E4C3/E5C2、コンパクト推論用CurveFP7 E3C3としてインスタンス化する。 4つの7B-9Bモデルにおいて、CurveFP7は1ビット未満の要素ビットでテンソルワイズFP8パープレキシティを上回り、ネイティブ品質の1.32%以内に留まる。
  論文  参考訳（メタデータ） (2026-08-08T01:55:46Z)
• P-Cast Precision in FP8 Attention: Sink-Induced Collapse and the Optimality of S=2^8 [0.0]
  注意シンク現象下での出力精度に影響を与える2つの実装選択を解析する。 前方 KV 反復が "P-崩壊" を引き起こすことを示す -- 先行順に、Phi (Delta + delta_k - 6.93 - ln S) の非シンク P 値がゼロとなる。 また、S = 256 = 28 をビットエクササイズ IEEE 754 スケーリングを同時に満足する静的スケールとして構成的に特徴づける。
  論文  参考訳（メタデータ） (2026-06-02T17:29:15Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• GPU-Accelerated Optimization of Transformer-Based Neural Networks for Real-Time Inference [0.0]
  本稿では,混合精度最適化を用いたNVIDIARTを用いた変圧器モデルのためのGPU加速型推論パイプラインの設計と評価を行う。 このシステムはCPUベースラインの64.4倍のスピードアップ、シングルサンプル推論の10ms以下のレイテンシ、メモリ使用量の63%削減を実現している。
  論文  参考訳（メタデータ） (2026-03-30T17:27:33Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• NOVA: Discovering Well-Conditioned Winograd Transforms through Numerical Optimization of Vandermonde Arithmetic [0.0]
  ウィノグラードの畳み込みは効率的な推論のための標準的なアルゴリズムである。 低精度コンピューティングの現代において、数値不安定性という重要な障壁に直面している。 何十年にもわたって整数カッパパーセンテージの慣習を破る発見フレームワークであるNOVAを紹介します。
  論文  参考訳（メタデータ） (2025-12-20T17:55:26Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。