論文の概要: Learning Task-Specific Antibody Representations via Function-Aware Masking

• arxiv url: http://arxiv.org/abs/2609.00518v1
• Date: Tue, 01 Sep 2026 00:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.173979
• Title: Learning Task-Specific Antibody Representations via Function-Aware Masking
• Title（参考訳）: 機能を考慮したマスキングによるタスク特異的抗体表現の学習
• Authors: Ayan Goel, Thomas A. Walton, Amirali Aghazadeh,
• Abstract要約: 本稿では,マスク配置を特定の機能的事前に整合させる事前学習アルゴリズムのファミリーである関数認識マスキングを紹介する。 これらのスペシャリストマスキング戦略は,それぞれの目的に対する性能を著しく向上させることを示す。 以上の結果から,インシデントマスク配置は,抗体モデルトレーニングにおいて機能的誘導バイアスを付与するためのパラメータフリーなメカニズムを提供することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Antibody-specific language models pretrained via masked language modeling (MLM) learn representations that are critical for downstream sequence design and property prediction tasks. Yet, the corruption process itself is rarely leveraged as a source of inductive bias during pretraining. While preferentially masking complementarity-determining regions (CDRs) improves binding-related predictions, antibodies possess diverse biological priors over a variety of functions. Herein, we introduce function-aware masking, a family of pretraining algorithms that align mask placement with specific functional priors (e.g., from IMGT annotations or structure predictions) to shape the learned representation space. We show that these specialist masking strategies significantly improve performance on their respective objectives, yielding up to a 14% gain on structure-related tasks and up to a 5.9x improvement on CDR-related tasks. To further improve performance across multiple functional axes, we develop hybrid masking strategies that integrate multiple priors, balancing reconstruction over binding, structural, and biophysical objectives. Our results demonstrate that informed mask placement provides a parameter-free mechanism for imposing functional inductive biases in antibody language model training.
• Abstract（参考訳）: マスク付き言語モデリング(MLM)により事前訓練された抗体固有言語モデルは、下流のシーケンス設計やプロパティ予測タスクに不可欠な表現を学習する。 しかし、汚職プロセス自体が事前訓練中に誘導バイアスの源として利用されることは滅多にない。 相補性決定領域(CDR)を優先的にマスキングすることは結合関連予測を改善するが、抗体は様々な機能に対して様々な生物学的先行性を持つ。 本稿では,マスク配置と特定の機能的事前(例えばIMGTアノテーションや構造予測など)を整列させて学習した表現空間を形作る事前学習アルゴリズムのファミリーである関数認識マスキングを紹介する。 その結果,これらのマスキング手法はそれぞれの目的に対して,最大で14%,CDR関連では5.9倍の性能向上を達成できることがわかった。 複数の機能軸にまたがる性能向上を図るため, 結合, 構造, 生体物理的目的に対する再構成のバランスをとるハイブリッドマスキング戦略を開発した。 以上の結果から,インシデントマスク配置は,抗体モデルトレーニングにおいて機能的誘導バイアスを付与するためのパラメータフリーなメカニズムを提供することが示された。

関連論文リスト

• A Unified Framework for In-Context Learning with Causal and Masked Language Models [9.893068784551879]
  In-context Learning (ICL) は、事前訓練された言語モデルの中枢機能として登場した。 マスク付き言語モデルは、双方向のコンテキストからマスク付きトークンを復元する。 ICLの振る舞いは因果言語モデルに特有ではない。
  論文  参考訳（メタデータ） (2026-07-05T02:23:18Z)
• Structure-Aware Masking for Protein Representation Learning [0.0]
  構造認識型マスキング手法であるBucket Maskingを導入する。 マスク分布を残留接触に条件付けすることで、Bucket Maskingは学習目標を長距離相互作用のモデル化へとシフトさせる。 下流の4つのタンパク質のフィットネス予測タスクで、Bucket Maskingは通常のランダムマスクよりも最大14%改善できる。
  論文  参考訳（メタデータ） (2026-05-15T19:36:54Z)
• AntigenLM: Structure-Aware DNA Language Modeling for Influenza [5.938702748853349]
  インフルエンザゲノムを前訓練した遺伝子DNAモデルであるAntigenLMについて述べる。 抗原LMは、訓練中に見えないものを含む、地域やサブタイプにわたる将来の抗原変異を正確に予測する。 また、ほぼ完全なサブタイプ分類も達成している。
  論文  参考訳（メタデータ） (2026-02-09T08:52:04Z)
• Understanding the Transfer Limits of Vision Foundation Models [38.99867932557529]
  ファンデーションモデルは大規模な事前学習を利用して広範な知識を捉え、幅広い言語タスクにおける一般化を実証する。 この制限は、事前学習目標と下流の視覚・画像タスクの要求とのミスマッチから生じると仮定する。 一般的な視覚パターンの回復やグローバルな意味構造などのタスクに対する、マスク付き画像再構成や対照的な学習形状表現などの事前学習戦略。 以上の結果から,事前学習と下流作業の整合性は,最大平均偏差(MMD)などの単純な分散指標によって測定され,微調整前後の同一特徴間の相関が強く,性能改善と相関することが示唆された。
  論文  参考訳（メタデータ） (2026-01-22T12:07:56Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Enhancing Few-shot CLIP with Semantic-Aware Fine-Tuning [61.902254546858465]
  Contrastive Language-Image Pre-Trainingに基づく手法は、数発の適応タスクで有望な性能を示した。 本稿では,タスク固有のセマンティクスに焦点を合わせるために,トレーニングプロセス中にアテンションプーリング層のパラメータを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-11-08T05:18:57Z)
• Reprogramming Pretrained Language Models for Antibody Sequence Infilling [72.13295049594585]
  抗体の計算設計には、構造的一貫性を維持しながら、新規で多様な配列を生成することが含まれる。 近年のディープラーニングモデルでは優れた結果が得られたが、既知の抗体配列/構造対の数が限られているため、性能が劣化することが多い。 これは、ソース言語でトレーニング済みのモデルを再利用して、異なる言語で、データが少ないタスクに適応するものです。
  論文  参考訳（メタデータ） (2022-10-05T20:44:55Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。