論文の概要: Off-Manifold Collapse in Guided Protein Language Models

• arxiv url: http://arxiv.org/abs/2608.18597v1
• Date: Wed, 19 Aug 2026 06:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.310068
• Title: Off-Manifold Collapse in Guided Protein Language Models
• Title（参考訳）: ガイド付きタンパク質言語モデルにおけるオフ・マニフォールド崩壊
• Abstract要約: タンパク質言語モデルのオフマニフォールド崩壊は、特定かつ安価に検出可能なシグネチャを有することを示す。 フェールはすでに完了した候補で見えているので、ジェネレータを変更するのではなく、出力で検出します。 我々は、天然タンパク質の活性化に先立って安価な密度を導入し、その下にある典型的な候補だけを保ちます。
• 参考スコア（独自算出の注目度）: 9.227232487333135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Protein language models are widely used priors for protein sequence design, and a growing body of work controls them at inference time as an alternative to fine-tuning. Such guidance faces a dilemma: mild enough to preserve natural activation statistics, it barely moves the property; strong enough to move it, the generations become progressively harder to fold. We show the failure has a specific and cheaply detectable signature, an off-manifold collapse of the model's own representations. Guided activations fall toward a region statistically indistinguishable from random amino-acid input, and the sequences degenerate to low complexity, yet the property oracle being optimized can still score these generations as a success. The optimized oracle can therefore fail to witness the collapse and, for solubility, can actively reward it, whereas structure and composition expose the failure. Because the failure is already visible in a finished candidate, we detect it at the output rather than modify the generator. We introduce a cheap density prior over natural protein activations and keep only the candidates that remain typical under it, a training-free post-hoc step we call Mahalanobis filtering. At matched guidance settings it improves both the property score and the structural plausibility of the sequences it keeps at negligible cost, without touching the generator, and transfers across different guidance methods. We release the activation statistic at https://huggingface.co/Shuibai12138/off-manifold-collapse-plm
• Abstract（参考訳）: タンパク質言語モデルはタンパク質配列設計に先立って広く使われており、微調整の代替として推論時にタンパク質を制御している。 このような誘導はジレンマに直面しており、自然の活性化統計を保存するのに十分な軽さ、財産をほとんど動かさない、それを動かすのに十分な強さ、世代が徐々に折り畳むのが難しくなる。 故障は特定かつ安価に検出可能なシグネチャを持ち、モデル自身の表現のオフ・マニフォールド崩壊を示す。 誘導活性化はランダムなアミノ酸入力と統計的に区別できない領域に落ち、配列は低複雑性に縮退するが、最適化された特性オラクルはこれらの世代を成功として評価することができる。 したがって、最適化されたオラクルは崩壊を目撃できず、溶解度のために積極的にそれを報いるが、構造と構成は失敗を露呈する。 フェールはすでに完了した候補で見えているので、ジェネレータを変更するのではなく、出力で検出します。 我々は、天然タンパク質の活性化に先立って安価な密度を導入し、その下にある典型的な候補だけを保ちます。 一致したガイダンス設定では、プロパティスコアと、それが保持するシーケンスの構造的妥当性の両方を、ジェネレータに触れることなく無視可能なコストで改善し、異なるガイダンスメソッド間で転送する。 アクティベーション統計はhttps://huggingface.co/Shuibai12138/off-manifold-collapse-plmで公開しています。

関連論文リスト

• When Genomic Masking Priors Fail to Transfer: Strong Variant Prediction, Weak Functional Generation [6.888870145233493]
  双方向離散拡散モデルは、両方の側面から欠落した配列を再構成できるため、ゲノムモデリングに自然に適しているように見える。 我々は, エントロピー誘導スパン配置が構成複雑領域の再構成圧力を集中させるという仮説の下で, GenDA (Genomic density-timized Absorbing Diffusion) を開発した。 私たちの結果は、この前提を部分的に支持するだけであります。
  論文  参考訳（メタデータ） (2026-09-04T08:21:34Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• Margin-calibrated Classifier Guidance for Property-driven Synthesis Planning [23.782236689125995]
  比較的議論とマージンに基づく損失を利用して分類器の校正を行うSCR(Sequence Completion Ranking)を導入する。 SCRはマルチステップ解決率を16.8%ドル(無誘導発電機)から78.4%ドル(反応型誘導)、9.3%ドル(谷本誘導)に大幅に改善している。 また,テンプレートフリー手法とテンプレートベース手法の長期的多様性ギャップを効果的に解消する。
  論文  参考訳（メタデータ） (2026-05-13T07:12:53Z)
• Historical Consensus: Preventing Posterior Collapse via Iterative Selection of Gaussian Mixture Priors [4.284407845277412]
  変分オートエンコーダ(VAE)は、しばしば後部崩壊に悩まされる。 アーキテクチャ上の制約による崩壊を避ける代わりに、完全に崩壊する可能性を排除します。
  論文  参考訳（メタデータ） (2026-03-11T16:19:07Z)
• Generative Myopia: Why Diffusion Models Fail at Structure [0.6768558752130311]
  グラフ拡散モデル(GDM)は統計確率を最適化し、textbf frequency filters(英語版)として暗黙的に機能する。 我々は、この失敗がtextbfGradient Starvation によって引き起こされることを理論的、実証的に証明する。 textbfSpectrally-Weighted Diffusionを導入する。
  論文  参考訳（メタデータ） (2025-11-23T19:27:13Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• Combating Mode Collapse in GAN training: An Empirical Analysis using Hessian Eigenvalues [4.779196219827507]
  generative adversarial networks (gan) は最先端の成果を画像生成に提供します。 非常に強力だが、モード崩壊を克服するアルゴリズムを訓練することは依然として非常に難しい。 モード崩壊はシャープミニマへの収束に関連していることを示す。 特に、$G$のevaluesがモード崩壊の発生に直接関係していることを観察します。
  論文  参考訳（メタデータ） (2020-12-17T15:40:27Z)
• Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
  我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。 本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
  論文  参考訳（メタデータ） (2020-04-30T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。