論文の概要: Tx-LLM: A Large Language Model for Therapeutics

• arxiv url: http://arxiv.org/abs/2406.06316v1
• Date: Mon, 10 Jun 2024 14:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:38:29.299340
• Title: Tx-LLM: A Large Language Model for Therapeutics
• Title（参考訳）: Tx-LLM: 治療のための大規模言語モデル
• Authors: Juan Manuel Zambrano Chaves, Eric Wang, Tao Tu, Eeshit Dhaval Vaishnav, Byron Lee, S. Sara Mahdavi, Christopher Semturs, David Fleet, Vivek Natarajan, Shekoofeh Azizi,
• Abstract要約: 本稿では,多彩な治療モダリティに関する知識を符号化した汎用大規模言語モデル(LLM)であるTx-LLMを紹介する。 Tx-LLMは、ドラッグディスカバリパイプラインのさまざまなステージにまたがる66タスクをターゲットとする709データセットのコレクションを使用して、トレーニングされている。
• 参考スコア（独自算出の注目度）: 10.304815129060266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing therapeutics is a lengthy and expensive process that requires the satisfaction of many different criteria, and AI models capable of expediting the process would be invaluable. However, the majority of current AI approaches address only a narrowly defined set of tasks, often circumscribed within a particular domain. To bridge this gap, we introduce Tx-LLM, a generalist large language model (LLM) fine-tuned from PaLM-2 which encodes knowledge about diverse therapeutic modalities. Tx-LLM is trained using a collection of 709 datasets that target 66 tasks spanning various stages of the drug discovery pipeline. Using a single set of weights, Tx-LLM simultaneously processes a wide variety of chemical or biological entities(small molecules, proteins, nucleic acids, cell lines, diseases) interleaved with free-text, allowing it to predict a broad range of associated properties, achieving competitive with state-of-the-art (SOTA) performance on 43 out of 66 tasks and exceeding SOTA on 22. Among these, Tx-LLM is particularly powerful and exceeds best-in-class performance on average for tasks combining molecular SMILES representations with text such as cell line names or disease names, likely due to context learned during pretraining. We observe evidence of positive transfer between tasks with diverse drug types (e.g.,tasks involving small molecules and tasks involving proteins), and we study the impact of model size, domain finetuning, and prompting strategies on performance. We believe Tx-LLM represents an important step towards LLMs encoding biochemical knowledge and could have a future role as an end-to-end tool across the drug discovery development pipeline.
• Abstract（参考訳）: 治療薬の開発は、多くの異なる基準の満足度を必要とする長く高価なプロセスであり、プロセスの迅速化が可能なAIモデルは、貴重なものになるだろう。 しかしながら、現在のAIアプローチの大半は、特定のドメイン内を囲む、狭義のタスクセットにのみ対応している。 このギャップを埋めるために,多種多様な治療的モダリティに関する知識を符号化した汎用大規模言語モデル(LLM)であるTx-LLMを導入する。 Tx-LLMは、ドラッグディスカバリパイプラインのさまざまなステージにまたがる66タスクをターゲットとする709データセットのコレクションを使用して、トレーニングされている。 1組の重量を用いて、Tx-LLMは、様々な化学的または生物学的実体(小分子、タンパク質、核酸、細胞株、疾患)を自由テキストでインターリーブし、66のタスクのうち43のタスクでSOTAのパフォーマンスと競合し、22のタスクでSOTAを超えた幅広い特性を予測できる。 これらのうち、Tx-LLMは特に強力で、分子SMILES表現と細胞名や病名などのテキストを組み合わせたタスクにおいて、平均クラスで最高のパフォーマンスを保っている。 薬物の種類が多様であるタスク(例えば、小分子を含むタスクやタンパク質を含むタスク)間の正の伝達の証拠を観察し、モデルサイズ、ドメインの微調整、およびパフォーマンスに対する戦略の促進について検討した。 我々は、Tx-LLMが生化学知識をコードするLLMへの重要な一歩であり、医薬品発見開発パイプラインにおけるエンドツーエンドツールとしての役割を担っていると信じている。

関連論文リスト

• FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction [34.732561455987145]
  我々は、不完全なマルチモーダル入力に柔軟に対応するために、textbfFlexCareという統合医療予測モデルを提案する。 タスクに依存しないマルチモーダル情報抽出モジュールを提示し、多様なモダリティ内およびモダリティ間パターンの非相関表現をキャプチャする。 MIMIC-IV/MIMIC-CXR/MIMIC-NOTEデータセットによる複数のタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-17T12:03:10Z)
• Physical formula enhanced multi-task learning for pharmacokinetics prediction [54.13787789006417]
  AIによる薬物発見の大きな課題は、高品質なデータの不足である。 薬物動態の4つの重要なパラメータを同時に予測するPEMAL法を開発した。 実験の結果,PEMALは一般的なグラフニューラルネットワークに比べてデータ需要を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-04-16T07:42:55Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [50.756644656847165]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• nach0: Multimodal Natural and Chemical Languages Foundation Model [7.815497069231599]
  本稿では, 様々な化学的・生物学的課題を解決できる新しい基礎モデルであるnach0を紹介する。 nach0は、科学文献、特許、分子文字列の未ラベルテキストで事前訓練されたマルチドメインおよびマルチタスクエンコーダLLMである。
  論文  参考訳（メタデータ） (2023-11-21T07:56:30Z)
• Self-Supervised Neuron Segmentation with Multi-Agent Reinforcement Learning [53.00683059396803]
  マスク画像モデル(MIM)は,マスク画像から元の情報を復元する簡便さと有効性から広く利用されている。 本稿では、強化学習(RL)を利用して最適な画像マスキング比とマスキング戦略を自動検索する決定に基づくMIMを提案する。 本手法は,ニューロン分節の課題において,代替自己監督法に対して有意な優位性を有する。
  論文  参考訳（メタデータ） (2023-10-06T10:40:46Z)
• MIRACLE: Multi-task Learning based Interpretable Regulation of Autoimmune Diseases through Common Latent Epigenetics [1.8632273262541308]
  MIRACLEは、複数のデータセットを統合し、DNAメチル化の共通パターンを共同で識別する新しい解釈可能なニューラルネットワークである。 関節リウマチ、全身性エリテマトーデス、多発性硬化症、炎症性腸疾患、乾質症、糖尿病1型を含む6つのデータセットで試験された。
  論文  参考訳（メタデータ） (2023-06-24T05:10:43Z)
• Unifying Molecular and Textual Representations via Multi-task Language Modelling [11.474894472719543]
  化学・自然言語の両領域で幅広いタスクを解くことができる,最初のマルチドメインマルチタスク言語モデルを提案する。 我々のモデルは、単一のドメインやタスク固有のモデルに対して、高価な事前トレーニングを必要とせずに、化学と自然言語を同時に扱うことができる。 我々の研究は、そのようなモデルが物理科学の発見を堅牢かつ効率的に加速できることを示唆している。
  論文  参考訳（メタデータ） (2023-01-29T23:56:45Z)
• SSM-DTA: Breaking the Barriers of Data Scarcity in Drug-Target Affinity Prediction [127.43571146741984]
  薬物標的親和性(DTA)は、早期の薬物発見において極めて重要である。 湿式実験は依然として最も信頼性の高い方法であるが、時間と資源が集中している。 既存の手法は主に、データ不足の問題に適切に対処することなく、利用可能なDTAデータに基づく技術開発に重点を置いている。 SSM-DTAフレームワークについて述べる。
  論文  参考訳（メタデータ） (2022-06-20T14:53:25Z)
• Neural networks for Anatomical Therapeutic Chemical (ATC) [83.73971067918333]
  両方向の長期記憶ネットワーク(BiLSTM)から抽出された集合を含む、特徴の異なるセットで訓練された複数の複数ラベル分類器を組み合わせることを提案する。 実験はこのアプローチのパワーを実証し、文献で報告された最良の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-22T19:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。