論文の概要: Automated Neuron Labelling Enables Generative Steering and Interpretability in Protein Language Models
- arxiv url: http://arxiv.org/abs/2507.06458v1
- Date: Tue, 08 Jul 2025 23:59:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-10 17:37:43.422493
- Title: Automated Neuron Labelling Enables Generative Steering and Interpretability in Protein Language Models
- Title（参考訳）: 自動ニューロンラベリングはタンパク質言語モデルにおける生成的ステアリングと解釈可能性を実現する
- Authors: Arjun Banerjee, David Martinez, Camille Dang, Ethan Tam,
- Abstract要約: タンパク質言語モデル(PLM)は、豊富な生物学的情報をコードしているが、その内部ニューロンの表現は理解されていない。
生物的基盤を持つ自然言語記述を持つPLMにおいて、全てのニューロンをラベル付けするための最初の自動化フレームワークを紹介する。
異なるモデルサイズでのラベル付きニューロンの解析により, PLMスケーリング法則と構造化ニューロン空間分布が明らかとなった。
- 参考スコア（独自算出の注目度）: 0.8624680612413766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Protein language models (PLMs) encode rich biological information, yet their internal neuron representations are poorly understood. We introduce the first automated framework for labeling every neuron in a PLM with biologically grounded natural language descriptions. Unlike prior approaches relying on sparse autoencoders or manual annotation, our method scales to hundreds of thousands of neurons, revealing individual neurons are selectively sensitive to diverse biochemical and structural properties. We then develop a novel neuron activation-guided steering method to generate proteins with desired traits, enabling convergence to target biochemical properties like molecular weight and instability index as well as secondary and tertiary structural motifs, including alpha helices and canonical Zinc Fingers. We finally show that analysis of labeled neurons in different model sizes reveals PLM scaling laws and a structured neuron space distribution.
- Abstract（参考訳）: タンパク質言語モデル(PLM)は、豊富な生物学的情報をコードしているが、その内部ニューロンの表現は理解されていない。
生物的基盤を持つ自然言語記述を持つPLMにおいて、全てのニューロンをラベル付けするための最初の自動化フレームワークを紹介する。
従来の手法ではスパースオートエンコーダや手動アノテーションに頼っていたが、我々の方法は数十万のニューロンにスケールし、個々のニューロンが多様な生化学的・構造的特性に選択的に敏感であることを明らかにする。
次に, 分子量や不安定度指数, およびαヘリスやカノニカルジンクフィンガーなどの二次的および第三次構造モチーフなど, 分子量や不安定性指数などの生体化学的特性を目標とするタンパク質を生産する新規なニューロン活性化誘導型ステアリング法を開発した。
最終的に、異なるモデルサイズのラベル付きニューロンの解析により、PLMスケーリング法則と構造化ニューロン空間分布が明らかとなった。
関連論文リスト
- NOBLE -- Neural Operator with Biologically-informed Latent Embeddings to Capture Experimental Variability in Biological Neuron Models [68.89389652724378]
NOBLEは、解釈可能なニューロンの特徴を連続周波数変調した埋め込みから電流注入によって誘導されるソマティック電圧応答へのマッピングを学ぶ神経オペレーターフレームワークである。
内在的な実験変数を考慮したニューラルダイナミクスの分布を予測する。
NOBLEは、実際の実験データに基づいて検証された最初のスケールアップされたディープラーニングフレームワークである。
論文 参考訳（メタデータ） (2025-06-05T01:01:18Z) - Deciphering Functions of Neurons in Vision-Language Models [37.29432842212334]
本研究の目的は、視覚言語モデル(VLM)の内部を探索し、個々のニューロンの機能を理解することである。
入力された視覚トークンやテキストトークンに関してニューロンの活性化を観察し、いくつかの興味深い知見を明らかにした。
我々は、GPT-4oのアシスタントを用いて、ニューロンの説明を自動化するフレームワークを構築した。
視覚ニューロンに対しては,視覚ニューロンに対する説明の信頼性を評価するためのアクティベーションシミュレータを提案する。
論文 参考訳（メタデータ） (2025-02-10T10:00:06Z) - Universal Neurons in GPT2 Language Models [4.9892471449871305]
異なる初期ランダムシードから学習したGPT2モデルにおける個々のニューロンの普遍性について検討した。
ニューロンの1-5%が普遍的、すなわち、同じ入力で一貫して活性化されるニューロンのペアであることがわかった。
論文 参考訳（メタデータ） (2024-01-22T18:11:01Z) - Identification of Knowledge Neurons in Protein Language Models [0.0]
キー情報の理解を表現した知識ニューロンを同定し,特徴付ける。
自己認識モジュールのキーベクトル予測ネットワークには,知識ニューロンの密度が高いことを示す。
将来的には、各ニューロンが捉えた知識の種類を特徴付けることができる。
論文 参考訳（メタデータ） (2023-12-17T17:23:43Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Neuronal Cell Type Classification using Deep Learning [3.3517146652431378]
機械学習の最近の進歩は、ニューロンを分類する高度な能力を提供してきた。
本研究の目的は,脳の電気生理学的活動に基づいてニューロンを分類する,堅牢で説明可能なディープラーニングフレームワークを提供することである。
論文 参考訳（メタデータ） (2023-06-01T10:28:49Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - A Neural Network Based Automated IFT-20 Sensory Neuron Classifier for
Caenorhabditis elegans [0.0]
組織間比較は、機能ネットワークの全脳分析を含む幅広い研究を可能にする。
線虫 Caenorhabditis elegans における単細胞分解能のパンニューロンイメージングの最近の進歩は、すべての到達範囲におけるニューロンの同定、追跡、活動監視をもたらした。
高い精度で神経細胞を同定する主な障壁は、成人のC. elegansでは神経細胞の体の位置がステレオタイプ化されていないことである。
単色蛍光画像のみを用いた別の神経細胞識別手法を提案する。
論文 参考訳（メタデータ） (2022-10-24T00:17:26Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳（メタデータ） (2022-01-19T09:26:34Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。