論文の概要: Tx-LLM: A Large Language Model for Therapeutics

• arxiv url: http://arxiv.org/abs/2406.06316v1
• Date: Mon, 10 Jun 2024 14:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 13:38:29.299340
• Title: Tx-LLM: A Large Language Model for Therapeutics
• Title（参考訳）: Tx-LLM: 治療のための大規模言語モデル
• Authors: Juan Manuel Zambrano Chaves, Eric Wang, Tao Tu, Eeshit Dhaval Vaishnav, Byron Lee, S. Sara Mahdavi, Christopher Semturs, David Fleet, Vivek Natarajan, Shekoofeh Azizi,
• Abstract要約: 本稿では,多彩な治療モダリティに関する知識を符号化した汎用大規模言語モデル(LLM)であるTx-LLMを紹介する。 Tx-LLMは、ドラッグディスカバリパイプラインのさまざまなステージにまたがる66タスクをターゲットとする709データセットのコレクションを使用して、トレーニングされている。
• 参考スコア（独自算出の注目度）: 10.304815129060266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing therapeutics is a lengthy and expensive process that requires the satisfaction of many different criteria, and AI models capable of expediting the process would be invaluable. However, the majority of current AI approaches address only a narrowly defined set of tasks, often circumscribed within a particular domain. To bridge this gap, we introduce Tx-LLM, a generalist large language model (LLM) fine-tuned from PaLM-2 which encodes knowledge about diverse therapeutic modalities. Tx-LLM is trained using a collection of 709 datasets that target 66 tasks spanning various stages of the drug discovery pipeline. Using a single set of weights, Tx-LLM simultaneously processes a wide variety of chemical or biological entities(small molecules, proteins, nucleic acids, cell lines, diseases) interleaved with free-text, allowing it to predict a broad range of associated properties, achieving competitive with state-of-the-art (SOTA) performance on 43 out of 66 tasks and exceeding SOTA on 22. Among these, Tx-LLM is particularly powerful and exceeds best-in-class performance on average for tasks combining molecular SMILES representations with text such as cell line names or disease names, likely due to context learned during pretraining. We observe evidence of positive transfer between tasks with diverse drug types (e.g.,tasks involving small molecules and tasks involving proteins), and we study the impact of model size, domain finetuning, and prompting strategies on performance. We believe Tx-LLM represents an important step towards LLMs encoding biochemical knowledge and could have a future role as an end-to-end tool across the drug discovery development pipeline.
• Abstract（参考訳）: 治療薬の開発は、多くの異なる基準の満足度を必要とする長く高価なプロセスであり、プロセスの迅速化が可能なAIモデルは、貴重なものになるだろう。 しかしながら、現在のAIアプローチの大半は、特定のドメイン内を囲む、狭義のタスクセットにのみ対応している。 このギャップを埋めるために,多種多様な治療的モダリティに関する知識を符号化した汎用大規模言語モデル(LLM)であるTx-LLMを導入する。 Tx-LLMは、ドラッグディスカバリパイプラインのさまざまなステージにまたがる66タスクをターゲットとする709データセットのコレクションを使用して、トレーニングされている。 1組の重量を用いて、Tx-LLMは、様々な化学的または生物学的実体(小分子、タンパク質、核酸、細胞株、疾患)を自由テキストでインターリーブし、66のタスクのうち43のタスクでSOTAのパフォーマンスと競合し、22のタスクでSOTAを超えた幅広い特性を予測できる。 これらのうち、Tx-LLMは特に強力で、分子SMILES表現と細胞名や病名などのテキストを組み合わせたタスクにおいて、平均クラスで最高のパフォーマンスを保っている。 薬物の種類が多様であるタスク(例えば、小分子を含むタスクやタンパク質を含むタスク)間の正の伝達の証拠を観察し、モデルサイズ、ドメインの微調整、およびパフォーマンスに対する戦略の促進について検討した。 我々は、Tx-LLMが生化学知識をコードするLLMへの重要な一歩であり、医薬品発見開発パイプラインにおけるエンドツーエンドツールとしての役割を担っていると信じている。

関連論文リスト

• Empowering Large Language Models in Wireless Communication: A Novel Dataset and Fine-Tuning Framework [81.29965270493238]
  我々は,無線通信アプリケーションのための大規模言語モデル(LLM)の評価と微調整を目的とした,特殊なデータセットを開発した。 データセットには、真/偽と複数選択型を含む、さまざまなマルチホップ質問が含まれている。 本稿では,PVI(Pointwise V-Information)に基づく微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T16:19:53Z)
• Biology Instructions: A Dataset and Benchmark for Multi-Omics Sequence Understanding Capability of Large Language Models [51.316001071698224]
  本稿では,生物配列関連命令チューニングデータセットであるBiology-Instructionsを紹介する。 このデータセットは、大きな言語モデル(LLM)と複雑な生物学的シーケンスに関連するタスクのギャップを埋めることができます。 また、新たな3段階トレーニングパイプラインを備えたChatMultiOmicsという強力なベースラインも開発しています。
  論文  参考訳（メタデータ） (2024-12-26T12:12:23Z)
• Property Enhanced Instruction Tuning for Multi-task Molecule Generation with Large Language Models [43.37148291436855]
  分子関連タスクのための大規模言語モデルを改善するための2段階のフレームワークPEITを提案する。 最初のステップでは、PEIT-GENと呼ばれるモデルを事前訓練するために、テキスト記述、SMILES、生化学的特性をマルチモーダル入力として使用します。 2番目のステップでは、既存のオープンソースLCMを合成データで微調整し、PEIT-LLMは分子キャプション、テキストベースの分子生成、分子特性予測、新たに提案したマルチ制約分子生成タスクを処理できる。
  論文  参考訳（メタデータ） (2024-12-24T01:48:07Z)
• COMET: Benchmark for Comprehensive Biological Multi-omics Evaluation Tasks and Language Models [56.81513758682858]
  COMETは、シングルオミクス、クロスオミクス、マルチオミクスタスクのモデルを評価することを目的としている。 まず、我々は、DNA、RNA、タンパク質の主要な構造的および機能的側面をカバーする、下流タスクとデータセットの多様なコレクションをキュレートし、開発する。 そこで我々は,DNA,RNA,タンパク質の既存の基礎言語モデルと,新たに提案されたマルチオミクス法を評価する。
  論文  参考訳（メタデータ） (2024-12-13T18:42:00Z)
• MAMMAL -- Molecular Aligned Multi-Modal Architecture and Language [0.24434823694833652]
  MAMMALは、大規模生物学的データセットから学習する多目的マルチタスク基盤モデルである。 我々は、幅広い分類、回帰、生成タスクをサポートするプロンプト構文を導入する。 典型的薬物発見パイプライン内の異なるステップにまたがる11種類の下流タスクのモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-28T20:45:52Z)
• Y-Mol: A Multiscale Biomedical Knowledge-Guided Large Language Model for Drug Development [24.5979645373074]
  Y-Mol は知識誘導型 LLM であり、鉛化合物発見、プリクリニック、クリニック予測といったタスクをこなすように設計されている。 出版物、知識グラフ、専門家が設計した合成データから学習する。 Y-Molは、鉛化合物の発見、分子特性の予測、薬物相互作用のイベントの同定において、汎用LLMよりも著しく優れている。
  論文  参考訳（メタデータ） (2024-10-15T12:39:20Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• An Evaluation of Large Language Models in Bioinformatics Research [52.100233156012756]
  本研究では,大規模言語モデル(LLM)の性能について,バイオインフォマティクスの幅広い課題について検討する。 これらのタスクには、潜在的なコーディング領域の同定、遺伝子とタンパク質の命名されたエンティティの抽出、抗微生物および抗がんペプチドの検出、分子最適化、教育生物情報学問題の解決が含まれる。 以上の結果から, GPT 変種のような LLM がこれらのタスクの多くをうまく処理できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-21T11:27:31Z)
• SSM-DTA: Breaking the Barriers of Data Scarcity in Drug-Target Affinity Prediction [127.43571146741984]
  薬物標的親和性(DTA)は、早期の薬物発見において極めて重要である。 湿式実験は依然として最も信頼性の高い方法であるが、時間と資源が集中している。 既存の手法は主に、データ不足の問題に適切に対処することなく、利用可能なDTAデータに基づく技術開発に重点を置いている。 SSM-DTAフレームワークについて述べる。
  論文  参考訳（メタデータ） (2022-06-20T14:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。