論文の概要: recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models
- arxiv url: http://arxiv.org/abs/2610.26747v1
- Date: Mon, 19 Oct 2026 17:12:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:38:23.280016
- Title: recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models
- Title（参考訳）: recAMPLIFY: 再帰的タンパク質言語モデルの大規模事前学習
- Abstract要約: recAMPLIFYは、AMPLIFY-350Mと同じ2Tトークンでトレーニングされた155Mのユニークなパラメータを持つpLMである。
CASPコンタクトリカバリを改善し、4つのうち3つを教師付きタスクとし、特に折りたたみ精度を22.5%向上させた。
GMR (Gated Mixture Recurrence) は、それぞれのタンパク質を、再帰中に訪れた隠れた状態の確率重み付け混合物からデコードする。
- 参考スコア（独自算出の注目度）: 17.477704822494523
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Protein language models (pLMs) are powerful tools for protein annotation and mutation-effect prediction, but progress has largely depended on scaling model size and data, making them expensive and prone to memorization. Test-time scaling offers a complementary path, but methods developed for autoregressive LLMs do not transfer directly: masked encoders lack a generation loop, and amino acids do not verbalize in a reasoning language. Instead, we adapt recursive pretraining to masked pLMs, where a weight-tied Transformer core refines residue-aligned hidden states over an adjustable number of cycles. We instantiate this recipe as recAMPLIFY, a pLM with 155M unique parameters trained on the same 2T tokens as AMPLIFY-350M. Despite 56% fewer parameters, it improves CASP contact recovery and three out of four supervised tasks, notably raising fold accuracy by 22.5%. Because optimal depth for recAMPLIFY varies across tasks and assays, we then introduce Gated Mixture Recurrence (GMR), a framework that decodes each protein from a probability-weighted mixture of hidden states visited during recursion. GMR employs a learned residual gate at scalar, low-rank, or per-dimension resolution to control how much of each cycle's proposed update is accepted into the state. This unifies halting and gating into a single adaptive computation objective while recovering PonderNet-style halting as a special case without gates. Layered on top of recAMPLIFY, GMR further reduces expected layer depth by up to 37%, although the accuracy trade-off varies by task. Mechanistic analyses show that residual gating controls recurrence stability beyond the trained depth and that halt depth tracks biological properties.
- Abstract（参考訳）: タンパク質言語モデル(pLM)は、タンパク質のアノテーションと突然変異効果予測のための強力なツールであるが、進歩はモデルのサイズとデータのスケーリングに大きく依存しているため、高価で記憶しにくい。
テストタイムスケーリングは相補的な経路を提供するが、自己回帰的LLMのために開発されたメソッドは直接転送しない:マスキングエンコーダには生成ループがなく、アミノ酸は推論言語では動詞化されない。
代わりに、重み付けされたトランスフォーマーコアが調整可能なサイクル数で残余整列された隠れ状態を洗練するマスク付きpLMに再帰的事前学習を適用する。
AMPLIFY-350Mと同じ2Tトークンでトレーニングされた155万のユニークなパラメータを持つpLMである。
パラメータが56%少ないにもかかわらず、CASPコンタクトリカバリを改善し、4つの教師付きタスクのうち3つは、特に折りたたみ精度を22.5%向上させた。
recAMPLIFYの最適深さはタスクやアッセイによって異なるため、Gated Mixture Recurrence(GMR)を導入します。
GMRはスカラー、ローランク、またはディメンジョン単位の解像度で学習された残留ゲートを使用し、各サイクルが提案する更新のどれ程が州に受け入れられるかを制御する。
これにより、ゲートのない特別なケースとしてPonderNetスタイルの停止を回復しながら、停止とゲーティングを単一の適応計算対象に統一する。
REAMPLIFYの上に重ねられたGMRは、タスクによって精度のトレードオフがあるにもかかわらず、期待される層深さを最大37%削減する。
力学解析により、残留ゲーティングはトレーニングされた深さを超える繰り返し安定性を制御し、停止した深さは生物学的性質を追跡することが示された。
関連論文リスト
- RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。
ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。
この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
論文 参考訳（メタデータ） (2026-08-15T06:22:00Z) - Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。
固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
論文 参考訳（メタデータ） (2026-06-19T12:36:23Z) - Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。
NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。
このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-06-15T02:05:37Z) - Late-Stage Generalization Collapse in Grokking: Detecting anti-grokking with Weightwatcher [1.6615337656760856]
ニューラルネットワークにおけるemphMemorizationは、正確な運用定義が欠如しており、しばしばグラッキングレジームから推測される。
我々は、このトレーニング体制において、未報告の第3段階である、エンファンティ・グロッキング(emphanti-grokking)、すなわち、一般化の後期崩壊を識別する。
論文 参考訳（メタデータ） (2026-02-02T22:09:14Z) - ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。
ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
論文 参考訳（メタデータ） (2026-01-29T18:35:01Z) - What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。
各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文 参考訳（メタデータ） (2025-10-13T16:31:50Z) - Mixed Precision Low-bit Quantization of Neural Network Language Models
for Speech Recognition [67.95996816744251]
長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。
現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。
本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
論文 参考訳（メタデータ） (2021-11-29T12:24:02Z) - Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis
of Head and Prompt Tuning [66.44344616836158]
本稿では,事前学習タスクと下流タスクをテキストの潜在変数生成モデルに関連付ける分析フレームワークを提案する。
HMMの特定の非退化条件下では、単純な分類ヘッドがダウンストリームタスクを解くことができ、また、迅速なチューニングにより、より弱い非退化条件で下流の保証を得ることができ、さらに、メモリ拡張HMMの回復保証がバニラHMMよりも強いことを示す。
論文 参考訳（メタデータ） (2021-06-17T03:31:47Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - MLE-guided parameter search for task loss minimization in neural
sequence modeling [83.83249536279239]
ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。
本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。
以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
論文 参考訳（メタデータ） (2020-06-04T22:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。