論文の概要: ControllableGPT: A Ground-Up Designed Controllable GPT for Molecule Optimization

• arxiv url: http://arxiv.org/abs/2502.10631v1
• Date: Sat, 15 Feb 2025 01:49:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:49.604226
• Title: ControllableGPT: A Ground-Up Designed Controllable GPT for Molecule Optimization
• Title（参考訳）: 制御可能GPT:分子最適化のための地上設計可能な制御可能GPT
• Authors: Xuefeng Liu, Songhao Jiang, Bo Li, Rick Stevens,
• Abstract要約: 我々は,大規模言語モデルのための制御可能なトレーニングフレームワークである ControllableGPT を紹介する。 成長と進化の生物学的プロセスにインスパイアされ、配列の伸長、縮小、突然変異を含む。 特定の位置やサブシーケンスの整合性を維持しつつ、シーケンス内の特定の位置と範囲の正確な管理を可能にする。
• 参考スコア（独自算出の注目度）: 6.900025190052277
• License:
• Abstract: Large Language Models (LLMs) employ three popular training approaches: Masked Language Models (MLM), Causal Language Models (CLM), and Sequence-to-Sequence Models (seq2seq). However, each approach has its strengths and limitations, and faces challenges in addressing specific tasks that require controllable and bidirectional generation, such as drug optimization. To address this challenge, inspired by the biological processes of growth and evolution, which involve the expansion, shrinking, and mutation of sequences, we introduce ControllableGPT. This initiative represents the first effort to combine the advantages of MLM, CLM, and seq2seq into a single unified, controllable GPT framework. It enables the precise management of specific locations and ranges within a sequence, allowing for expansion, reduction, or mutation over chosen or random lengths, while maintaining the integrity of any specified positions or subsequences. In this work, we designed ControllableGPT for drug optimization from the ground up, which included proposing the Causally Masked Seq2seq (CMS) objective, developing the training corpus, introducing a novel pre-training approach, and devising a unique generation process. We demonstrate the effectiveness and controllability of ControllableGPT by conducting experiments on drug optimization tasks for both viral and cancer benchmarks, surpassing competing baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)には、マスケッド言語モデル(MLM)、因果言語モデル(CLM)、シークエンス・ツー・シーケンスモデル(seq2seq)の3つの一般的なトレーニングアプローチが採用されている。 しかし、それぞれのアプローチには強みと限界があり、薬物最適化のような制御可能な双方向生成を必要とする特定のタスクに対処する上での課題に直面している。 この課題に対処するために、成長と進化の生物学的プロセスにインスパイアされ、配列の伸長、縮小、突然変異を伴い、制御可能なGPTを導入する。 このイニシアチブは、MLM、CLM、seq2seqの利点を単一の統一制御可能なGPTフレームワークに統合する最初の試みである。 シーケンス内の特定の位置と範囲の正確な管理を可能にし、選択されたまたはランダムな長さに対する拡張、縮小、突然変異を可能にし、特定の位置やサブシーケンスの整合性を維持する。 本研究は,CMS(Causally Masked Seq2seq)目標の提案,トレーニングコーパスの開発,新しい事前学習アプローチの導入,ユニークな生成プロセスの考案を含む,薬物最適化のための制御可能なGPTをゼロから設計した。 ウイルスおよび癌ベンチマークの薬物最適化タスクの実験を行い、競合するベースラインを超え、制御可能GPTの有効性と制御性を示す。

関連論文リスト

• ScaffoldGPT: A Scaffold-based Large Language Model for Drug Improvement [2.6198448284771443]
  ScaffoldGPTは分子足場に基づく薬物最適化のための新しいLarge Language Model (LLM)である。 本研究は,(1)事前学習,微調整,復号化を統合した3段階の薬物最適化アプローチである。
  論文  参考訳（メタデータ） (2025-02-09T10:36:33Z)
• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Controlling the Mutation in Large Language Models for the Efficient Evolution of Algorithms [2.2485774453793037]
  本稿では、遺伝的アルゴリズムの理論に触発された進化的枠組みにおける突然変異制御の新しいアプローチを紹介する。 本研究では,突然変異率を適応的に調節する動的突然変異プロンプトを提案する。 実験により, これらのダイナミックレートの導入により, LLaMEAの収束速度と適応性が向上することが示された。
  論文  参考訳（メタデータ） (2024-12-04T11:49:22Z)
• Preparing Spin Squeezed States via Adaptive Genetic Algorithm [9.168152138847445]
  本稿では、適応型遺伝的アルゴリズム(GA)を用いて、制御シーケンスを反復的に最適化し、量子非古典状態を生成する新しい戦略を提案する。 ダーウィンの進化にインスパイアされたこのアルゴリズムは、クロスオーバー、突然変異、除去戦略を用いて、制御シーケンスを反復的に洗練する。 我々のアプローチは、一定の制御スキームと比較して、集合スピンモデルのスクイーズを維持できる様々な制御シーケンスが得られる。
  論文  参考訳（メタデータ） (2024-10-20T12:15:11Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Adaptable Logical Control for Large Language Models [68.27725600175013]
  Ctrl-Gは、推論時にモデル生成のトラクタブルでフレキシブルな制御を容易にする適応可能なフレームワークである。 TULU2-7Bモデルに適用したCtrl-Gは、インタラクティブテキスト編集のタスクにおいて、GPT3.5とGPT4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-19T23:47:59Z)
• DecompOpt: Controllable and Decomposed Diffusion Models for Structure-based Molecular Optimization [49.85944390503957]
  DecompOptは、制御可能・拡散モデルに基づく構造に基づく分子最適化手法である。 DecompOptは強いde novoベースラインよりも優れた特性を持つ分子を効率よく生成できることを示す。
  論文  参考訳（メタデータ） (2024-03-07T02:53:40Z)
• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
  我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。 我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-11T12:48:44Z)
• Multi-Level Evolution Strategies for High-Resolution Black-Box Control [0.2320417845168326]
  本稿では進化戦略(ES)にマルチレベル(m-lev)機構を導入する。 これは、決定変数の詳細な離散化の恩恵を受けることができる、グローバルな最適化問題のクラスに対処する。
  論文  参考訳（メタデータ） (2020-10-04T09:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。