論文の概要: Mol-MoE: Training Preference-Guided Routers for Molecule Generation

• arxiv url: http://arxiv.org/abs/2502.05633v1
• Date: Sat, 08 Feb 2025 16:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 18:57:50.044379
• Title: Mol-MoE: Training Preference-Guided Routers for Molecule Generation
• Title（参考訳）: Mol-MoE: 分子生成のための訓練優先型ルータ
• Authors: Diego Calanzone, Pierluca D'Oro, Pierre-Luc Bacon,
• Abstract要約: Mol-MoEは、再トレーニングなしに分子生成の効率的なテストタイムステアリングを可能にする、試験用混合アーキテクチャである。 当社のアプローチの中心にあるのは、好みに基づくルータトレーニングの目標です。 最先端手法と比較して,Moll-MoEはより優れた試料品質と操舵性が得られることを示す。
• 参考スコア（独自算出の注目度）: 12.021726719817538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in language models have enabled framing molecule generation as sequence modeling. However, existing approaches often rely on single-objective reinforcement learning, limiting their applicability to real-world drug design, where multiple competing properties must be optimized. Traditional multi-objective reinforcement learning (MORL) methods require costly retraining for each new objective combination, making rapid exploration of trade-offs impractical. To overcome these limitations, we introduce Mol-MoE, a mixture-of-experts (MoE) architecture that enables efficient test-time steering of molecule generation without retraining. Central to our approach is a preference-based router training objective that incentivizes the router to combine experts in a way that aligns with user-specified trade-offs. This provides improved flexibility in exploring the chemical property space at test time, facilitating rapid trade-off exploration. Benchmarking against state-of-the-art methods, we show that Mol-MoE achieves superior sample quality and steerability.
• Abstract（参考訳）: 近年の言語モデルの発展により、配列モデリングとしてフレーミング分子の生成が可能になった。 しかし、既存のアプローチはしばしば単目的強化学習に依存しており、複数の競合する特性を最適化しなければならない現実世界のドラッグデザインに適用性を制限する。 従来の多目的強化学習(MORL)手法では、新しい目的の組み合わせごとにコストがかかるため、トレードオフの迅速な探索は不可能である。 これらの制約を克服するために,分子生成の効率的なテストタイムステアリングを可能にするMol-MoE(Mor-of-experts)アーキテクチャを導入した。 当社のアプローチの中心にあるのは、好みに基づくルータトレーニングの目標です。 これにより、試験時に化学特性空間を探索する際の柔軟性が向上し、迅速なトレードオフ探索が容易になる。 最先端手法と比較して,Moll-MoEはより優れた試料品質と操舵性が得られることを示す。

関連論文リスト

• ExpertWeaver: Unlocking the Inherent MoE in Dense LLMs with GLU Activation Patterns [68.61814799047956]
  Mixture-of-Experts (MoE)は、スパース専門家のアクティベーションを通じて計算効率を保ちながら、モデル容量を効果的にスケールする。 ExpertWeaverは、ニューロンをアクティベーションパターンに従ってパーティショニングする、トレーニング不要のフレームワークで、共有専門家と特殊なルーティング専門家をレイヤ適応構成で構成する。
  論文  参考訳（メタデータ） (2026-02-17T11:50:58Z)
• MolGuidance: Advanced Guidance Strategies for Conditional Molecular Generation with Flow Matching [6.649784863468093]
  条件分子生成の主な目的は、化学的妥当性の確保、生成分子と目的特性の整合、発見のための効率的なサンプリングを可能にすることである。 コンピュータビジョンの最近の進歩は、生成モデルのための様々な新しいガイダンス戦略を導入した。 我々は,SE(3)-同変フローマッチングプロセス上に構築された先行分子生成フレームワークに最先端のガイダンス手法を統合する。
  論文  参考訳（メタデータ） (2025-12-13T06:05:09Z)
• Efficient Training of Diffusion Mixture-of-Experts Models: A Practical Recipe [51.26601054313749]
  Diffusion MoEモデルに対する最近の取り組みは、主により洗練されたルーティングメカニズムの開発に焦点を当てている。 大規模言語モデル(LLM)で確立されたMoE設計パラダイムに着想を得て,効率的な拡散MoEモデルを構築する上で重要なアーキテクチャ要素のセットを特定する。 本稿では,潜在空間拡散フレームワークと画素空間拡散フレームワークの両方に効率よく適用可能な新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-12-01T03:52:31Z)
• Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts [113.0656076371565]
  オフ・ポリティクス強化学習(RL)における重要サンプリング重み付けを最適化する新しいルータ認識手法を提案する。 具体的には、ルータロジットによって誘導される再スケーリング戦略を設計し、勾配のばらつきを効果的に低減し、トレーニングのばらつきを軽減する。 実験により, 本手法は収束安定性とMoEモデルの最終的な性能の両方を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-10-27T05:47:48Z)
• MCCE: A Framework for Multi-LLM Collaborative Co-Evolution [17.41200156551317]
  多目的離散最適化問題は、その広大かつ非構造的な空間のために重大な問題を引き起こす。 大規模言語モデル(LLM)は、強力な先行と推論能力を提供し、専門家の知識が重要となると自然にします。 我々は,凍結したオープンソースLCMと軽量なトレーニングモデルを組み合わせたハイブリッドフレームワークであるMulti-LLM Collaborative Co-evolutionを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T10:03:28Z)
• Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
  Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。 内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。 その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
  論文  参考訳（メタデータ） (2025-09-28T15:13:38Z)
• MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models [61.89384981175277]
  ローランド適応 (LoRA) とミックスオブエキスパート (MoE) を統合するための固有テキストbfMixture-of-Adapters (MoA) アプローチを提案する。 実験結果から, 不均一なMoAは均一なMoE-LoRA法よりも性能およびパラメータ効率が優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T09:54:19Z)
• MOFGPT: Generative Design of Metal-Organic Frameworks using Language Models [5.417632175667162]
  応用固有の性質を持つ金属有機フレームワーク(MOF)は、材料化学における中心的な課題である。 我々はMOFのデノボ設計のための強化学習型トランスフォーマーベースのフレームワークを提案する。 特性フィードバックをシーケンス生成に統合することにより、このモデルを合成可能でトポロジカルに有効なMOFに向けて駆動する。
  論文  参考訳（メタデータ） (2025-05-30T20:09:11Z)
• MergeME: Model Merging Techniques for Homogeneous and Heterogeneous MoEs [45.20965298945085]
  本稿では,パラメータ干渉を緩和する手法,ルーティング,アーキテクチャの異なる専門家をマージするための新しい手法など,新たなMoEマージ手法を提案する。 複数の領域にわたる実験により,提案手法の有効性,微調整コストの低減,最先端手法の性能向上,MoEマージの適用性の向上が示された。
  論文  参考訳（メタデータ） (2025-02-03T02:34:46Z)
• OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning [3.8813502422318127]
  低ランク適応(LoRA)のためのMixix-of-experts(MoE)アーキテクチャは、パラメータ効率の微調整(PEFT)における潜在的方向として出現している。 まず,バニラMoEの類似表現に専門家が崩壊し,モジュール設計の能力と計算効率が制限されることを示す定性解析を行った。 これらの知見に触発されて、直交混合(OMoE)を提案する。 提案手法は,バニラMOEモデルと比較して最小限の専門家を惹起するため,メモリボトルネックを緩和する。
  論文  参考訳（メタデータ） (2025-01-17T09:27:08Z)
• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning [136.89318317245855]
  MoErgingは、専門家のモデルをリサイクルして、パフォーマンスや一般化を改善した集約システムを構築することを目的としている。 MoErgingメソッドの重要なコンポーネントは、特定の入力やアプリケーションに使用する専門家モデルを決定するルータの作成である。 このサーベイには、キーデザインの選択をカタログ化し、各手法に適した適用方法を明確にするための新しい分類が含まれている。
  論文  参考訳（メタデータ） (2024-08-13T17:49:00Z)
• Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
  大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。 マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。 示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
  論文  参考訳（メタデータ） (2024-07-26T21:10:50Z)
• Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation [0.0]
  Mol-AIRは、ゴール指向分子生成のための適応型固有報酬を用いた強化学習ベースのフレームワークである。 ベンチマークテストでは、Moll-AIRは所望の特性を持つ分子を生成する既存のアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-29T10:44:51Z)
• DecompOpt: Controllable and Decomposed Diffusion Models for Structure-based Molecular Optimization [49.85944390503957]
  DecompOptは、制御可能・拡散モデルに基づく構造に基づく分子最適化手法である。 DecompOptは強いde novoベースラインよりも優れた特性を持つ分子を効率よく生成できることを示す。
  論文  参考訳（メタデータ） (2024-03-07T02:53:40Z)
• MFBind: a Multi-Fidelity Approach for Evaluating Drug Compounds in Practical Generative Modeling [17.689451879343014]
  現在の創薬モデルでは、主に分子ドッキングを用いて生成物の品質を評価する。 本稿では,MFBind(Multi-fidelity Bind)を提案し,精度と計算コストの最適トレードオフを実現する。
  論文  参考訳（メタデータ） (2024-02-16T00:48:20Z)
• Retrieval-based Controllable Molecule Generation [63.44583084888342]
  制御可能な分子生成のための検索に基づく新しいフレームワークを提案する。 我々は、与えられた設計基準を満たす分子の合成に向けて、事前学習された生成モデルを操るために、分子の小さなセットを使用します。 提案手法は生成モデルの選択に非依存であり,タスク固有の微調整は不要である。
  論文  参考訳（メタデータ） (2022-08-23T17:01:16Z)
• Molecular Attributes Transfer from Non-Parallel Data [57.010952598634944]
  分子最適化をスタイル伝達問題として定式化し、非並列データの2つのグループ間の内部差を自動的に学習できる新しい生成モデルを提案する。 毒性修飾と合成性向上という2つの分子最適化タスクの実験により,本モデルがいくつかの最先端手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2021-11-30T06:10:22Z)
• Learning to Extend Molecular Scaffolds with Structural Motifs [15.78749196233448]
  MoLeRはグラフベースのモデルで、生成手順の初期シードとして足場をサポートする。 そこで本研究では,MoLeRが非制約分子最適化タスクの最先端手法と相容れない性能を示す。 また、いくつかの小さな設計選択が全体的なパフォーマンスに与える影響も示しています。
  論文  参考訳（メタデータ） (2021-03-05T18:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。