論文の概要: X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Design

• arxiv url: http://arxiv.org/abs/2402.07148v1
• Date: Sun, 11 Feb 2024 10:23:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 17:19:37.492364
• Title: X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Design
• Title（参考訳）: X-LoRA:タンパク質力学と設計に応用した大規模言語モデルのためのフレキシブルフレームワーク、低ランクアダプタエキスパートの混在
• Authors: Eric L. Buehler, Markus J. Buehler
• Abstract要約: 低ランク適応(LoRA)に基づくディープ・レイヤ・ワイド・トークン・レベル・アプローチを用いて、微調整された大規模言語モデルを作成するための専門家戦略の混合を報告する。 このデザインは、ニューラルネットワーク構築ブロックをさまざまな階層的な表現で再利用する、普遍性と多様性の生物学的原則にインスパイアされている。 我々は, バイオマテリアル分析, タンパク質力学, 設計に焦点をあてた, フォワード/逆解析タスク, 推論能力の強化など, 科学的能力を提供するX-LoRAモデルを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We report a mixture of expert strategy to create fine-tuned large language models using a deep layer-wise token-level approach based on low-rank adaptation (LoRA). Starting with a set of pre-trained LoRA adapters, we propose a gating strategy that uses the hidden states to dynamically mix adapted layers, allowing the resulting X-LoRA model to draw upon different capabilities and create never-before-used deep layer-wise combinations of adaptations are established to solve specific tasks. The design is inspired by the biological principles of universality and diversity, where neural network building blocks are reused in different hierarchical manifestations. Hence, the X-LoRA model can be easily implemented for any existing large language model (LLM) without a need for modifications of the underlying structure. We develop a tailored X-LoRA model that offers scientific capabilities including forward/inverse analysis tasks and enhanced reasoning capability, focused on biomaterial analysis, protein mechanics and design. The impact of this work include access to readily expandable, adaptable and changeable models with strong domain knowledge and the capability to integrate across areas of knowledge. With the X-LoRA model featuring experts in biology, mathematics, reasoning, bio-inspired materials, mechanics and materials, chemistry, and protein mechanics we conduct a series of physics-focused case studies. We examine knowledge recall, protein mechanics forward/inverse tasks, protein design, and adversarial agentic modeling including ontological knowledge graphs. The model is capable not only of making quantitative predictions of nanomechanical properties of proteins, but also reasons over the results and correctly predicts likely mechanisms that explain distinct molecular behaviors.
• Abstract（参考訳）: 我々は,低ランク適応(lora)に基づく層毎のトークンレベルの深層アプローチを用いて,微調整された大規模言語モデルを作成するための専門家戦略の混合について報告する。 事前学習されたLoRAアダプタのセットから、隠れ状態を用いて動的に適応された層を混合し、結果として得られるX-LoRAモデルを異なる能力で描画し、特定のタスクを解くために未使用の深層結合を生成するゲーティング戦略を提案する。 このデザインは普遍性と多様性の生物学的原理に触発され、ニューラルネットワークのビルディングブロックは異なる階層的な表現で再利用される。 したがって、X-LoRAモデルは、基盤構造を変更することなく、既存の大きな言語モデル(LLM)に対して容易に実装できる。 我々は, バイオマテリアル分析, タンパク質力学, 設計に焦点をあてた, フォワード/逆解析タスク, 推論能力の強化など, 科学的能力を提供するX-LoRAモデルを開発した。 この作業の影響には、強力なドメイン知識を持つ、容易に拡張可能で適応可能で変更可能なモデルへのアクセスと、知識の領域間で統合する能力が含まれる。 X-LoRAモデルは、生物学、数学、推論、バイオインスパイアされた材料、力学と材料、化学、タンパク質力学の専門家を特徴とする。 知識リコール、タンパク質力学の前方/逆タスク、タンパク質設計、オントロジナレッジグラフを含む逆エージェントモデリングについて検討する。 このモデルは、タンパク質のナノメカニカルな性質を定量的に予測するだけでなく、結果に対する理由や、異なる分子の挙動を説明するメカニズムを正確に予測することができる。

関連論文リスト

• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• ProtAgents: Protein discovery via large language model multi-agent collaborations combining physics and machine learning [0.0]
  ProtAgentsは、Large Language Models (LLMs)に基づいたde novoタンパク質設計のためのプラットフォームである。 異なる機能を持つ複数のAIエージェントは、動的環境内の複雑なタスクを協調的に処理する。 エージェントを設計する柔軟性と、動的LLMベースのマルチエージェント環境による自律的なコラボレーション能力は、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-01-27T20:19:49Z)
• xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein [76.18058946124111]
  本稿では,タンパク質の理解と生成を同時に行うために,統一されたタンパク質言語モデル xTrimoPGLM を提案する。 xTrimoPGLMは、4つのカテゴリにわたる18のタンパク質理解ベンチマークにおいて、他の高度なベースラインを著しく上回っている。 また、自然の原理に従ってデノボタンパク質配列を生成でき、微調整を監督した後にプログラム可能な生成を行うことができる。
  論文  参考訳（メタデータ） (2024-01-11T15:03:17Z)
• MeLM, a generative pretrained language modeling framework that solves forward and inverse mechanics problems [0.0]
  本稿では, 様々な非線形前方・逆問題の解法として, フレキシブルなマルチモーダル力学言語モデル, MeLM を適用する。 このフレームワークは、バイオインスパイアされた階層的ハニカム設計やカーボンナノチューブ力学など、様々な例に適用されている。
  論文  参考訳（メタデータ） (2023-06-30T10:28:20Z)
• Generative Pretrained Autoregressive Transformer Graph Neural Network applied to the Analysis and Discovery of Novel Proteins [0.0]
  本稿では,タンパク質モデリングにおける複雑な前方および逆問題を解決するために,フレキシブル言語モデルに基づくディープラーニング戦略を適用した。 本モデルを用いて, 二次構造含量(残量レベル, 全体含量), タンパク質溶解度, シークエンシングタスクの予測を行った。 追加タスクを追加することで、モデルが全体的なパフォーマンスを改善するために活用する創発的なシナジーが得られることが分かりました。
  論文  参考訳（メタデータ） (2023-05-07T12:30:24Z)
• Integration of Pre-trained Protein Language Models into Geometric Deep Learning Networks [68.90692290665648]
  我々は、タンパク質言語モデルから学んだ知識を、いくつかの最先端の幾何学的ネットワークに統合する。 以上の結果から,ベースラインを20%上回る総合的な改善が見られた。 強い証拠は、タンパク質言語モデルの知識を取り入れることで、幾何学的ネットワークの能力が著しく向上することを示している。
  論文  参考訳（メタデータ） (2022-12-07T04:04:04Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Learning Geometrically Disentangled Representations of Protein Folding Simulations [72.03095377508856]
  この研究は、薬物標的タンパク質の構造的アンサンブルに基づいて生成ニューラルネットワークを学習することに焦点を当てている。 モデル課題は、様々な薬物分子に結合したタンパク質の構造的変動を特徴付けることである。 その結果,我々の幾何学的学習に基づく手法は,複雑な構造変化を生成するための精度と効率の両方を享受できることがわかった。
  論文  参考訳（メタデータ） (2022-05-20T19:38:00Z)
• Accurate Machine Learned Quantum-Mechanical Force Fields for Biomolecular Simulations [51.68332623405432]
  分子動力学(MD)シミュレーションは、化学的および生物学的プロセスに関する原子論的な洞察を可能にする。 近年,MDシミュレーションの代替手段として機械学習力場(MLFF)が出現している。 本研究は、大規模分子シミュレーションのための正確なMLFFを構築するための一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-17T13:08:28Z)
• Flexible dual-branched message passing neural network for quantum mechanical property prediction with molecular conformation [16.08677447593939]
  メッセージパッシングフレームワークに基づく分子特性予測のための二重分岐ニューラルネットワークを提案する。 本モデルでは,様々なスケールで異種分子の特徴を学習し,予測対象に応じて柔軟に学習する。
  論文  参考訳（メタデータ） (2021-06-14T10:00:39Z)
• Hierarchical, rotation-equivariant neural networks to select structural models of protein complexes [6.092214762701847]
  タンパク質複合体の正確なモデルを特定するために,全ての原子の3次元位置から直接学習する機械学習手法を提案する。 我々のネットワークは、考えられるモデルの大きな集合のうち、正確な構造モデルの同定を大幅に改善する。
  論文  参考訳（メタデータ） (2020-06-05T20:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。