論文の概要: Protenix-Mini: Efficient Structure Predictor via Compact Architecture, Few-Step Diffusion and Switchable pLM

• arxiv url: http://arxiv.org/abs/2507.11839v1
• Date: Wed, 16 Jul 2025 02:08:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.195598
• Title: Protenix-Mini: Efficient Structure Predictor via Compact Architecture, Few-Step Diffusion and Switchable pLM
• Title（参考訳）: Protenix-Mini: コンパクトアーキテクチャ、Few-Step拡散、スイッチング可能なpLMによる効率的な構造予測器
• Authors: Chengyue Gong, Xinshi Chen, Yuxuan Zhang, Yuxuan Song, Hao Zhou, Wenzhi Xiao,
• Abstract要約: 本稿では,タンパク質構造予測のためのコンパクトで最適化されたモデルProtenix-Miniを提案する。 冗長なTransformerコンポーネントを排除し、サンプリングプロセスを洗練することにより、Protenix-Miniはモデルの複雑さをわずかに削減する。
• 参考スコア（独自算出の注目度）: 37.865341638265534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lightweight inference is critical for biomolecular structure prediction and other downstream tasks, enabling efficient real-world deployment and inference-time scaling for large-scale applications. In this work, we address the challenge of balancing model efficiency and prediction accuracy by making several key modifications, 1) Multi-step AF3 sampler is replaced by a few-step ODE sampler, significantly reducing computational overhead for the diffusion module part during inference; 2) In the open-source Protenix framework, a subset of pairformer or diffusion transformer blocks doesn't make contributions to the final structure prediction, presenting opportunities for architectural pruning and lightweight redesign; 3) A model incorporating an ESM module is trained to substitute the conventional MSA module, reducing MSA preprocessing time. Building on these key insights, we present Protenix-Mini, a compact and optimized model designed for efficient protein structure prediction. This streamlined version incorporates a more efficient architectural design with a two-step Ordinary Differential Equation (ODE) sampling strategy. By eliminating redundant Transformer components and refining the sampling process, Protenix-Mini significantly reduces model complexity with slight accuracy drop. Evaluations on benchmark datasets demonstrate that it achieves high-fidelity predictions, with only a negligible 1 to 5 percent decrease in performance on benchmark datasets compared to its full-scale counterpart. This makes Protenix-Mini an ideal choice for applications where computational resources are limited but accurate structure prediction remains crucial.
• Abstract（参考訳）: 軽量推論は生体分子構造予測やその他の下流タスクにおいて重要であり、大規模アプリケーションに対する効率的な実世界の展開と推論時間スケーリングを可能にしている。 本稿では,モデル効率と予測精度のバランスをとることの課題について,いくつかの重要な修正を加えて検討する。 1)多段AF3サンプリング装置は数段のODEサンプリング装置に置き換えられ、推論時の拡散モジュール部分の計算オーバーヘッドを著しく低減する。 2) オープンソースのProtenixフレームワークでは、ペアフォーマーや拡散トランスフォーマーブロックのサブセットは最終的な構造予測に寄与せず、アーキテクチャのプルーニングや軽量な再設計の機会を提供しています。 3)従来のMSAモジュールに代えてESMモジュールを組み込んだモデルを訓練し,MSA前処理時間を短縮する。 これらの重要な知見に基づいて,タンパク質構造予測のためのコンパクトで最適化されたモデルProtenix-Miniを提案する。 この合理化されたバージョンは、より効率的なアーキテクチャ設計と2段階の正規微分方程式(ODE)サンプリング戦略を取り入れている。 冗長なTransformerコンポーネントを排除し、サンプリングプロセスを洗練することにより、Protenix-Miniはモデルの複雑さをわずかに削減する。 ベンチマークデータセットの評価は、フルスケールのベンチマークデータセットと比較して、無視できる1～5%のパフォーマンスが低下している、高い忠実度予測を実現していることを示している。 これにより、Protenix-Miniは計算資源が限られているが正確な構造予測が不可欠であるアプリケーションにとって理想的な選択肢となる。

関連論文リスト

• POLARON: Precision-aware On-device Learning and Adaptive Runtime-cONfigurable AI acceleration [0.0]
  本研究は,効率的な乗算累積演算を行うSIMD対応マルチ精度MACエンジンを提案する。 このアーキテクチャは、計算精度をワークロードの感度に合わせるための層適応的精度戦略を取り入れている。 その結果,PDPは最大で2倍,資源使用量は3倍に改善した。
  論文  参考訳（メタデータ） (2025-06-10T13:33:02Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Pruning-Based TinyML Optimization of Machine Learning Models for Anomaly Detection in Electric Vehicle Charging Infrastructure [8.29566258132752]
  本稿では,EVCIを対象とする資源制約環境における異常検出のためのプルーニング手法について検討する。 最適化されたモデルは、モデルのサイズと推論時間の大幅な削減を実現しました。 特に,EVCIでは,プルーニングとFSが重要な異常検出能力を保ちながら,計算効率を向上させることが示唆された。
  論文  参考訳（メタデータ） (2025-03-19T00:18:37Z)
• Towards Efficient Large Scale Spatial-Temporal Time Series Forecasting via Improved Inverted Transformers [33.176126599147466]
  EiFormerは、計算複雑性を線形スケールに削減しつつ、iTransformerの適応能力を維持できる改良された逆変換器アーキテクチャである。 我々の重要な革新は、モデル表現性を犠牲にすることなく冗長な計算を除去するための注意機構の再構築である。 本手法は,大規模な時系列処理が不可欠である産業アプリケーションにおいて,トランスフォーマーによる予測の実践的展開を可能にする。
  論文  参考訳（メタデータ） (2025-03-13T20:14:08Z)
• Can SAM Boost Video Super-Resolution? [78.29033914169025]
  単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。 この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。 我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
  論文  参考訳（メタデータ） (2023-05-11T02:02:53Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。