論文の概要: Towards Understanding the Shape of Representations in Protein Language Models

• arxiv url: http://arxiv.org/abs/2509.24895v1
• Date: Mon, 29 Sep 2025 15:06:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:20.074326
• Title: Towards Understanding the Shape of Representations in Protein Language Models
• Title（参考訳）: タンパク質言語モデルにおける表現の形状の理解に向けて
• Authors: Kosio Beshkov, Anders Malthe-Sørenssen,
• Abstract要約: 我々は,2乗根速度 (SRV) の表現とグラフ濾過によるタンパク質の構造と表現を同定する。 我々は PLM が直接的および局所的な残基間の関係を優先的に符号化するが、より大きな文脈長に対して劣化し始めることを発見した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While protein language models (PLMs) are one of the most promising avenues of research for future de novo protein design, the way in which they transform sequences to hidden representations, as well as the information encoded in such representations is yet to be fully understood. Several works have attempted to propose interpretability tools for PLMs, but they have focused on understanding how individual sequences are transformed by such models. Therefore, the way in which PLMs transform the whole space of sequences along with their relations is still unknown. In this work we attempt to understand this transformed space of sequences by identifying protein structure and representation with square-root velocity (SRV) representations and graph filtrations. Both approaches naturally lead to a metric space in which pairs of proteins or protein representations can be compared with each other. We analyze different types of proteins from the SCOP dataset and show that the Karcher mean and effective dimension of the SRV shape space follow a non-linear pattern as a function of the layers in ESM2 models of different sizes. Furthermore, we use graph filtrations as a tool to study the context lengths at which models encode the structural features of proteins. We find that PLMs preferentially encode immediate as well as local relations between residues, but start to degrade for larger context lengths. The most structurally faithful encoding tends to occur close to, but before the last layer of the models, indicating that training a folding model ontop of these layers might lead to improved folding performance.
• Abstract（参考訳）: タンパク質言語モデル (PLMs) は将来のデノボタンパク質設計における最も有望な研究の道の1つであるが、それらが配列を隠された表現に変換する方法や、そのような表現に符号化された情報はまだ完全には理解されていない。 いくつかの研究がPLMの解釈可能性ツールを提案しているが、これらのモデルによって個々の配列がどのように変換されるかを理解することに重点を置いている。 したがって、PLMが配列の空間全体とそれらの関係を変換する方法はまだ不明である。 本研究では、タンパク質の構造と、平方根速度(SRV)表現とグラフ濾過を用いて表現することで、この変換された配列空間を理解することを試みる。 どちらのアプローチも自然に、一対のタンパク質やタンパク質の表現を互いに比較できる距離空間に繋がる。 我々は,SCOPデータセットから異なるタイプのタンパク質を解析し,SRV形状空間のカーチャー平均と有効次元が,異なるサイズのESM2モデルの階層の関数として非線形パターンに従うことを示す。 さらに,タンパク質の構造的特徴をモデルがエンコードする文脈長を解析するためのツールとしてグラフフィルタを用いる。 我々は PLM が直接的および局所的な残基間の関係を優先的に符号化するが、より大きな文脈長に対して劣化し始めることを発見した。 最も構造的に忠実な符号化は、モデルの最後の層に近く起こる傾向があるが、これらの層の上に折りたたみモデルのトレーニングを行うことで、折りたたみ性能が向上する可能性があることを示している。

関連論文リスト

• Multi-Scale Representation Learning for Protein Fitness Prediction [31.735234482320283]
  これまでの手法は主に、巨大でラベルなしのタンパク質配列や構造データセットに基づいて訓練された自己教師型モデルに依存してきた。 本稿では,タンパク質の機能を統合する新しいマルチモーダル表現学習フレームワークであるSequence-Structure-Surface Fitness (S3F)モデルを紹介する。 提案手法は,タンパク質言語モデルからの配列表現と,タンパク質のバックボーンと詳細な表面トポロジーをコードするGeometric Vector Perceptronネットワークを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-02T04:28:10Z)
• Aligning Large Language Models and Geometric Deep Models for Protein Representation [57.59506688299817]
  遅延表現アライメントは、異なるモダリティからの埋め込みを共有空間にマッピングするために使用され、しばしば大きな言語モデル(LLM)の埋め込み空間と一致している。 プリミティブなタンパク質中心の大規模言語モデル (MLLM) が登場したが、それらは表現の至る所で最適なアライメントの実践に関する根本的な理解が欠如しているアプローチに大きく依存している。 本研究では,タンパク質領域におけるLLMと幾何学的深部モデル(GDM)のマルチモーダル表現のアライメントについて検討する。 本研究は, モデルおよびタンパク質の観点からのアライメント要因について検討し, 現行アライメント手法の課題を特定し, アライメントプロセスを改善するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-08T04:15:08Z)
• Structure Language Models for Protein Conformation Generation [66.42864253026053]
  伝統的な物理学に基づくシミュレーション手法は、しばしばサンプリング平衡整合に苦しむ。 深い生成モデルは、より効率的な代替としてタンパク質のコンホメーションを生成することを約束している。 本稿では,効率的なタンパク質コンホメーション生成のための新しいフレームワークとして構造言語モデリングを紹介する。
  論文  参考訳（メタデータ） (2024-10-24T03:38:51Z)
• Endowing Protein Language Models with Structural Knowledge [5.587293092389789]
  本稿では,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しいフレームワークを提案する。 PST(Protein Structure Transformer)と呼ばれる精製モデルは、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-01-26T12:47:54Z)
• Ophiuchus: Scalable Modeling of Protein Structures through Hierarchical Coarse-graining SO(3)-Equivariant Autoencoders [1.8835495377767553]
  天然タンパク質の3次元ネイティブ状態は、繰り返しおよび階層的なパターンを示す。 従来のグラフに基づくタンパク質構造のモデリングは、単一の微細な解像度でしか動作しないことが多い。 オフィチュス(Ophiuchus)は、全原子タンパク質構造を効率的に操作するSO(3)等価な粗粒化モデルである。
  論文  参考訳（メタデータ） (2023-10-04T01:01:11Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• BERTology Meets Biology: Interpreting Attention in Protein Language Models [124.8966298974842]
  注目レンズを用いたタンパク質トランスフォーマーモデルの解析方法を示す。 注意はタンパク質の折りたたみ構造を捉え、基礎となる配列では遠く離れているが、三次元構造では空間的に近接しているアミノ酸を接続する。 また、注意とタンパク質構造との相互作用を三次元的に可視化する。
  論文  参考訳（メタデータ） (2020-06-26T21:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。