論文の概要: ControllableGPT: A Ground-Up Designed Controllable GPT for Molecule Optimization

• arxiv url: http://arxiv.org/abs/2502.10631v1
• Date: Sat, 15 Feb 2025 01:49:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:49.604226
• Title: ControllableGPT: A Ground-Up Designed Controllable GPT for Molecule Optimization
• Title（参考訳）: 制御可能GPT:分子最適化のための地上設計可能な制御可能GPT
• Authors: Xuefeng Liu, Songhao Jiang, Bo Li, Rick Stevens,
• Abstract要約: 我々は,大規模言語モデルのための制御可能なトレーニングフレームワークである ControllableGPT を紹介する。 成長と進化の生物学的プロセスにインスパイアされ、配列の伸長、縮小、突然変異を含む。 特定の位置やサブシーケンスの整合性を維持しつつ、シーケンス内の特定の位置と範囲の正確な管理を可能にする。
• 参考スコア（独自算出の注目度）: 6.900025190052277
• License:
• Abstract: Large Language Models (LLMs) employ three popular training approaches: Masked Language Models (MLM), Causal Language Models (CLM), and Sequence-to-Sequence Models (seq2seq). However, each approach has its strengths and limitations, and faces challenges in addressing specific tasks that require controllable and bidirectional generation, such as drug optimization. To address this challenge, inspired by the biological processes of growth and evolution, which involve the expansion, shrinking, and mutation of sequences, we introduce ControllableGPT. This initiative represents the first effort to combine the advantages of MLM, CLM, and seq2seq into a single unified, controllable GPT framework. It enables the precise management of specific locations and ranges within a sequence, allowing for expansion, reduction, or mutation over chosen or random lengths, while maintaining the integrity of any specified positions or subsequences. In this work, we designed ControllableGPT for drug optimization from the ground up, which included proposing the Causally Masked Seq2seq (CMS) objective, developing the training corpus, introducing a novel pre-training approach, and devising a unique generation process. We demonstrate the effectiveness and controllability of ControllableGPT by conducting experiments on drug optimization tasks for both viral and cancer benchmarks, surpassing competing baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)には、マスケッド言語モデル(MLM)、因果言語モデル(CLM)、シークエンス・ツー・シーケンスモデル(seq2seq)の3つの一般的なトレーニングアプローチが採用されている。 しかし、それぞれのアプローチには強みと限界があり、薬物最適化のような制御可能な双方向生成を必要とする特定のタスクに対処する上での課題に直面している。 この課題に対処するために、成長と進化の生物学的プロセスにインスパイアされ、配列の伸長、縮小、突然変異を伴い、制御可能なGPTを導入する。 このイニシアチブは、MLM、CLM、seq2seqの利点を単一の統一制御可能なGPTフレームワークに統合する最初の試みである。 シーケンス内の特定の位置と範囲の正確な管理を可能にし、選択されたまたはランダムな長さに対する拡張、縮小、突然変異を可能にし、特定の位置やサブシーケンスの整合性を維持する。 本研究は,CMS(Causally Masked Seq2seq)目標の提案,トレーニングコーパスの開発,新しい事前学習アプローチの導入,ユニークな生成プロセスの考案を含む,薬物最適化のための制御可能なGPTをゼロから設計した。 ウイルスおよび癌ベンチマークの薬物最適化タスクの実験を行い、競合するベースラインを超え、制御可能GPTの有効性と制御性を示す。

関連論文リスト

• Preparing Spin Squeezed States via Adaptive Genetic Algorithm [9.168152138847445]
  本稿では、適応型遺伝的アルゴリズム(GA)を用いて、制御シーケンスを反復的に最適化し、量子非古典状態を生成する新しい戦略を提案する。 ダーウィンの進化にインスパイアされたこのアルゴリズムは、クロスオーバー、突然変異、除去戦略を用いて、制御シーケンスを反復的に洗練する。 我々のアプローチは、一定の制御スキームと比較して、集合スピンモデルのスクイーズを維持できる様々な制御シーケンスが得られる。
  論文  参考訳（メタデータ） (2024-10-20T12:15:11Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Plug-and-Play Controllable Generation for Discrete Masked Models [27.416952690340903]
  本稿では、離散データ制御可能な生成モデリングのための離散マスクモデルについて述べる。 本稿では,条件付きスコアのトレーニングを回避した重要サンプリングに基づく新しいプラグアンドプレイフレームワークを提案する。 本フレームワークは,制御基準の選択に非依存であり,勾配情報を必要としないため,後方サンプリングやベイズ逆問題,制約生成などのタスクに適している。
  論文  参考訳（メタデータ） (2024-10-03T02:00:40Z)
• Adaptable Logical Control for Large Language Models [68.27725600175013]
  Ctrl-Gは、推論時にモデル生成のトラクタブルでフレキシブルな制御を容易にする適応可能なフレームワークである。 TULU2-7Bモデルに適用したCtrl-Gは、インタラクティブテキスト編集のタスクにおいて、GPT3.5とGPT4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-19T23:47:59Z)
• DecompOpt: Controllable and Decomposed Diffusion Models for Structure-based Molecular Optimization [49.85944390503957]
  DecompOptは、制御可能・拡散モデルに基づく構造に基づく分子最適化手法である。 DecompOptは強いde novoベースラインよりも優れた特性を持つ分子を効率よく生成できることを示す。
  論文  参考訳（メタデータ） (2024-03-07T02:53:40Z)
• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• Controllable Text Generation with Residual Memory Transformer [4.9329649616940205]
  任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。 提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。 各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
  論文  参考訳（メタデータ） (2023-09-28T08:13:33Z)
• Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
  言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。 拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。 本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
  論文  参考訳（メタデータ） (2022-05-27T20:12:09Z)
• Multi-modal Self-supervised Pre-training for Regulatory Genome Across Cell Types [75.65676405302105]
  我々は、GeneBERTと呼ばれる、多モードかつ自己管理的な方法でゲノムデータを事前学習するための、単純かつ効果的なアプローチを提案する。 我々はATAC-seqデータセットで1700万のゲノム配列でモデルを事前訓練する。
  論文  参考訳（メタデータ） (2021-10-11T12:48:44Z)
• Multi-Level Evolution Strategies for High-Resolution Black-Box Control [0.2320417845168326]
  本稿では進化戦略(ES)にマルチレベル(m-lev)機構を導入する。 これは、決定変数の詳細な離散化の恩恵を受けることができる、グローバルな最適化問題のクラスに対処する。
  論文  参考訳（メタデータ） (2020-10-04T09:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。