論文の概要: Correcting the Dropout-LayerNorm Expectation Gap Improves Protein Structure Models
- arxiv url: http://arxiv.org/abs/2609.32062v1
- Date: Fri, 25 Sep 2026 22:53:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 03:25:09.906738
- Title: Correcting the Dropout-LayerNorm Expectation Gap Improves Protein Structure Models
- Title（参考訳）: Dropout-LayerNorm期待ギャップの修正はタンパク質構造モデルを改善する
- Abstract要約: 我々は$mathbbE[mathrmLayerNorm(x)]$が$mathrmLayerNorm(x)$に等しいことを示す。
ドロップアウト層のパターンにLayerNormが続くと、評価時にシステマティックなバイアスが発生し、パフォーマンスを損なう。
これをDLC(Dropout-LayerNorm Correction)と呼ぶ。
- 参考スコア（独自算出の注目度）: 1.7987667217349141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although $\mathbb{E}[\mathrm{dropout}(x)] = x$, here we show that $\mathbb{E}[\mathrm{LayerNorm}(\mathrm{dropout}(x))]$ is not equal to $\mathrm{LayerNorm}(x)$. Accordingly, the pattern of a Dropout layer followed by a LayerNorm, which is common to many AlphaFold2-based protein structure predictors, produces a systematic bias at evaluation time that can hamper performance. To address this, we derive a closed-form, first-order correction for this gap, which we call a Dropout-LayerNorm Correction (DLC). DLC empirically matches the performance boost of large Monte Carlo dropout ensembles. We evaluate its effect across nine protein structure models (ESMFold, OpenFold, ABB3, FlashABB, Ibex, NbForge, Genie1, Genie2, Genie3) on both paired and single-chain antibody structures as well as one protein-ligand docking model (QuickBind). The correction is computationally negligible and improves accuracy in all ten models tested ($\sim0.3\%-13\%$), with a modest but consistent improvement in ESMFold and OpenFold and a substantial improvement in antibody-specific models. This work identifies the mathematical consequence of chaining together Dropout and LayerNorm and provides a free, principled adjustment to improve the evaluation performance of many pretrained models. Code to reproduce the experiments is available at https://github.com/oxpig/DLC.
- Abstract（参考訳）: $\mathbb{E}[\mathrm{dropout}(x)] = x$ だが、ここでは$\mathbb{E}[\mathrm{LayerNorm}(\mathrm{dropout}(x))]$が$\mathrm{LayerNorm}(x)$に等しいことを示す。
したがって、Dropout層のパターンは、多くのAlphaFold2ベースのタンパク質構造予測器に共通するLayerNormに続き、評価時に系統的なバイアスを発生させ、性能を損なう。
この問題に対処するために,我々はDropout-LayerNorm Correction (DLC) と呼ぶ,このギャップに対する1次閉形式補正を導出する。
DLCはモンテカルロの大規模なドロップアウトアンサンブルのパフォーマンス向上を実証的に再現する。
9種類のタンパク質構造モデル(ESMFold, OpenFold, ABB3, FlashABB, Ibex, NbForge, Genie1, Genie2, Genie3)および1種類のタンパク質-リガンドドッキングモデル(QuickBind)に対する効果を検討した。
この補正は計算的に無視可能であり、テストされた10モデルすべて(\sim0.3\%-13\%$)で精度が向上し、ESMFoldとOpenFoldは控えめながら一貫して改善され、抗体特異的モデルも大幅に改善された。
この研究は、DropoutとLayerNormを連結した数学的結果を特定し、多くの事前訓練されたモデルの評価性能を改善するために、自由で原則化された調整を提供する。
実験を再現するコードはhttps://github.com/oxpig/DLCで公開されている。
関連論文リスト
- Double Descent and Malign Overfitting in Diffusion Models [5.939780039158003]
拡散モデルの過度な適合は破滅的であり、モデルを体制へと駆り立てる。
トレーニングサンプルあたりの雑音実現の固定数$m$では、2次ピークが発生するが、標準回帰のように$psim n$ではなく$psim nm$となる。
この過度な適合は、トレーニングの暗黙の規則化が完全に作業中であるにもかかわらず、真のスコアではなく、経験的なスコアに向かってモデルを駆動するからである。
論文 参考訳（メタデータ） (2026-09-22T13:30:48Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Gradient dynamics for low-rank fine-tuning beyond kernels [9.275532709125242]
学生-教師設定における低ランク微調整について検討する。
基本モデルにおける行列であり,オンライン勾配勾配で訓練された学生モデルが,教師に収束する,という軽微な仮定の下で証明する。
論文 参考訳（メタデータ） (2024-11-23T00:00:28Z) - FABind: Fast and Accurate Protein-Ligand Binding [127.7790493202716]
$mathbfFABind$はポケット予測とドッキングを組み合わせたエンドツーエンドモデルで、正確で高速なタンパク質-リガンド結合を実現する。
提案モデルでは,既存手法と比較して有効性と効率性に強い利点が示される。
論文 参考訳（メタデータ） (2023-10-10T16:39:47Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - Towards Alternative Techniques for Improving Adversarial Robustness:
Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。
私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。
ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
論文 参考訳（メタデータ） (2022-06-13T22:01:21Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - Model Selection with Near Optimal Rates for Reinforcement Learning with
General Model Classes [27.361399036211694]
有限地平線エピソディック強化学習(RL)問題に対するモデル選択の問題に対処する。
モデル選択フレームワークでは、$mathcalP*$の代わりに、遷移カーネルのネストされたファミリーが$M$を与えられる。
textttARL-GENが$TildemathcalO(d_mathcalE* H2+sqrtd_mathcalE* mathbbM* H2T)$の後悔を得ることを示す。
論文 参考訳（メタデータ） (2021-07-13T05:00:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。