論文の概要: Synthesizing Proteins on the Graphics Card. Protein Folding and the Limits of Critical AI Studies

• arxiv url: http://arxiv.org/abs/2405.09788v1
• Date: Thu, 16 May 2024 03:24:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 15:30:35.778327
• Title: Synthesizing Proteins on the Graphics Card. Protein Folding and the Limits of Critical AI Studies
• Title（参考訳）: グラフィクスカード上のタンパク質の合成 : タンパク質のフォールディングと臨界AI研究の限界
• Authors: Fabian Offert, Paul Kim, Qiaoyu Cai,
• Abstract要約: タンパク質の折り畳みにおけるトランスアーキテクチャの適用について検討する。 この非言語的な処理を通じて、トランスフォーマーアーキテクチャは独自の領域を開拓する、と我々は主張する。 インテリジェントマシンの検索は、インテリジェンスの場所ではなく、形から始めなければならない、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 0.8192907805418581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the application of the transformer architecture in protein folding, as exemplified by DeepMind's AlphaFold project, and its implications for the understanding of large language models as models of language. The prevailing discourse often assumes a ready-made analogy between proteins -- encoded as sequences of amino acids -- and natural language -- encoded as sequences of discrete symbols. Instead of assuming as given the linguistic structure of proteins, we critically evaluate this analogy to assess the kind of knowledge-making afforded by the transformer architecture. We first trace the analogy's emergence and historical development, carving out the influence of structural linguistics on structural biology beginning in the mid-20th century. We then examine three often overlooked pre-processing steps essential to the transformer architecture, including subword tokenization, word embedding, and positional encoding, to demonstrate its regime of representation based on continuous, high-dimensional vector spaces, which departs from the discrete, semantically demarcated symbols of language. The successful deployment of transformers in protein folding, we argue, discloses what we consider a non-linguistic approach to token processing intrinsic to the architecture. We contend that through this non-linguistic processing, the transformer architecture carves out unique epistemological territory and produces a new class of knowledge, distinct from established domains. We contend that our search for intelligent machines has to begin with the shape, rather than the place, of intelligence. Consequently, the emerging field of critical AI studies should take methodological inspiration from the history of science in its quest to conceptualize the contributions of artificial intelligence to knowledge-making, within and beyond the domain-specific sciences.
• Abstract（参考訳）: 本稿では,DeepMindのAlphaFoldプロジェクトによって実証された,タンパク質折り畳みにおけるトランスフォーマーアーキテクチャの適用と,言語モデルとしての大規模言語モデルを理解する上での意義について考察する。 一般的な言説では、アミノ酸の配列としてコードされるタンパク質と、個別のシンボルの配列としてコードされる自然言語の間には、既製の類似性が存在すると仮定することが多い。 タンパク質の言語構造を仮定する代わりに、トランスフォーマーアーキテクチャーがもたらす知識形成の種類を評価するために、このアナロジーを批判的に評価する。 まず、アナロジーの出現と歴史的発展を辿り、構造言語学が構造生物学に与える影響を20世紀中頃から明らかにした。 次に、サブワードのトークン化、単語埋め込み、位置符号化など、トランスフォーマーアーキテクチャに不可欠な3つの前処理ステップについて検討し、連続した高次元ベクトル空間に基づく表現の仕組みを示す。 タンパク質の折り畳みにおけるトランスフォーマーの展開の成功は、アーキテクチャに固有のトークン処理に対する非言語的アプローチについて、我々は明らかにしている。 この非言語的な処理を通じて、トランスフォーマーアーキテクチャは独自の認識論的領域を彫り出し、確立されたドメインとは別個の新しい種類の知識を生み出している、と我々は主張する。 インテリジェントマシンの検索は、インテリジェンスの場所ではなく、形から始めなければならない、と私たちは主張する。 それゆえ、重要なAI研究の新興分野は、人工知能の知識創造への貢献を、ドメイン固有の科学内外へ概念化しようとする試みにおいて、科学の歴史から方法論的インスピレーションを得るべきである。

関連論文リスト

• FoldToken: Learning Protein Language via Vector Quantization and Beyond [56.19308144551836]
  タンパク質配列構造を離散シンボルとして表現するために textbfFoldTokenizer を導入する。 学習したシンボルを textbfFoldToken と呼び、FoldToken の配列が新しいタンパク質言語として機能する。
  論文  参考訳（メタデータ） (2024-02-04T12:18:51Z)
• Endowing Protein Language Models with Structural Knowledge [5.587293092389789]
  本稿では,タンパク質構造データを統合することにより,タンパク質言語モデルを強化する新しいフレームワークを提案する。 PST(Protein Structure Transformer)と呼ばれる精製モデルは、小さなタンパク質構造データベース上でさらに事前訓練されている。 PSTは、タンパク質配列の最先端基盤モデルであるESM-2を一貫して上回り、タンパク質機能予測の新しいベンチマークを設定している。
  論文  参考訳（メタデータ） (2024-01-26T12:47:54Z)
• Large Language Models for Scientific Synthesis, Inference and Explanation [56.41963802804953]
  大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。 我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。 このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
  論文  参考訳（メタデータ） (2023-10-12T02:17:59Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Strong-AI Autoepistemic Robots Build on Intensional First Order Logic [0.0]
  我々は、この一階述語論理(IFOL)を現代ロボットの象徴的アーキテクチャとみなす。 本稿では,特殊時相の「Konow$predicate」と「deductive axioms」を導入することで,ロボットの自己認識的推論能力の具体例を示す。
  論文  参考訳（メタデータ） (2022-12-14T16:23:56Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Testing the Quantitative Spacetime Hypothesis using Artificial Narrative Comprehension (II) : Establishing the Geometry of Invariant Concepts, Themes, and Namespaces [0.0]
  本研究は、セマンティック時空仮説の継続的な適用に寄与し、物語テキストの教師なし分析を実証する。 データストリームは、バイオインフォマティクス解析の方法で、マルチスケール干渉計によって、小さな成分に解析され、分別される。 入力のフラグメントは、各スケールで新しい有効言語を定義するアルファベット階層のシンボルとして機能する。
  論文  参考訳（メタデータ） (2020-09-23T11:19:17Z)
• Deep Learning in Protein Structural Modeling and Design [6.282267356230666]
  ディープラーニングは、ビッグデータ、アクセシブルツールキット、強力な計算リソースによって刺激される科学的革命を触媒している。 タンパク質構造モデリングは、生物学的システムを分子レベルで理解し、設計するために重要である。 このレビューは、計算生物学者がタンパク質モデリングに適用される深層学習法に精通するのを助けることを目的としており、コンピュータ科学者は深層学習技術から恩恵を受ける可能性のある生物学的に有意義な問題を考察する。
  論文  参考訳（メタデータ） (2020-07-16T14:59:38Z)
• BERTology Meets Biology: Interpreting Attention in Protein Language Models [124.8966298974842]
  注目レンズを用いたタンパク質トランスフォーマーモデルの解析方法を示す。 注意はタンパク質の折りたたみ構造を捉え、基礎となる配列では遠く離れているが、三次元構造では空間的に近接しているアミノ酸を接続する。 また、注意とタンパク質構造との相互作用を三次元的に可視化する。
  論文  参考訳（メタデータ） (2020-06-26T21:50:17Z)
• The Unstoppable Rise of Computational Linguistics in Deep Learning [17.572024590374305]
  自然言語理解タスクに適用されたニューラルネットワークの歴史を辿る。 トランスフォーマーはシーケンスモデルではなく、帰納構造モデルであると主張する。
  論文  参考訳（メタデータ） (2020-05-13T16:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。