論文の概要: Enhancing Molecular Property Prediction via Mixture of Collaborative Experts

• arxiv url: http://arxiv.org/abs/2312.03292v1
• Date: Wed, 6 Dec 2023 05:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 16:07:40.022323
• Title: Enhancing Molecular Property Prediction via Mixture of Collaborative Experts
• Title（参考訳）: 共同研究者の混合による分子特性予測の促進
• Authors: Xu Yao, Shuang Liang, Songqiao Han and Hailiang Huang
• Abstract要約: 本稿では,MPPにおけるデータ不足と不均衡に対処するGNN-MoCEアーキテクチャを提案する。 また、Mixture of Collaborative Experts (MoCE) を予測器として採用し、タスクの共通性を活用している。 提案モデルは,24MPPデータセットにおける従来の手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 23.388085838279405
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Molecular Property Prediction (MPP) task involves predicting biochemical properties based on molecular features, such as molecular graph structures, contributing to the discovery of lead compounds in drug development. To address data scarcity and imbalance in MPP, some studies have adopted Graph Neural Networks (GNN) as an encoder to extract commonalities from molecular graphs. However, these approaches often use a separate predictor for each task, neglecting the shared characteristics among predictors corresponding to different tasks. In response to this limitation, we introduce the GNN-MoCE architecture. It employs the Mixture of Collaborative Experts (MoCE) as predictors, exploiting task commonalities while confronting the homogeneity issue in the expert pool and the decision dominance dilemma within the expert group. To enhance expert diversity for collaboration among all experts, the Expert-Specific Projection method is proposed to assign a unique projection perspective to each expert. To balance decision-making influence for collaboration within the expert group, the Expert-Specific Loss is presented to integrate individual expert loss into the weighted decision loss of the group for more equitable training. Benefiting from the enhancements of MoCE in expert creation, dynamic expert group formation, and experts' collaboration, our model demonstrates superior performance over traditional methods on 24 MPP datasets, especially in tasks with limited data or high imbalance.
• Abstract（参考訳）: 分子特性予測(英語版)(MPP)タスクは、分子グラフ構造などの分子的特徴に基づいて生化学的性質を予測し、医薬品開発における鉛化合物の発見に寄与する。 MPPにおけるデータの不足と不均衡に対処するために、分子グラフから共通性を抽出するエンコーダとしてグラフニューラルネットワーク(GNN)を採用している研究もある。 しかし、これらの手法は各タスクに別々の予測器を使用し、異なるタスクに対応する予測器間の共有特性を無視する。 この制限に対応するため、GNN-MoCEアーキテクチャを導入する。 専門家プールにおける均質性の問題と専門家グループ内の決定優位性ジレンマに直面する一方で、タスクの共通点を活用する。 専門家間のコラボレーションにおける専門家の多様性を高めるため,エキスパート・スペクティブ・プロジェクション法を提案し,各専門家に独自のプロジェクション・パースペクティブを割り当てる。 エキスパートグループ内のコラボレーションに対する意思決定の影響のバランスをとるために、より公平なトレーニングのために、個々の専門家の損失をグループの重み付けされた意思決定損失に統合するために専門家固有の損失が提示される。 専門家作成、動的専門家グループ形成、専門家のコラボレーションにおけるMoCEの強化から、我々のモデルは24MPPデータセット、特に限られたデータや高い不均衡のタスクにおいて、従来の手法よりも優れたパフォーマンスを示す。

関連論文リスト

• On-Device Collaborative Language Modeling via a Mixture of Generalists and Specialists [33.68104398807581]
  我々は、$textbfG$eneralists と $textbfS$pecialists (CoMiGS) の $textbfMi$xture を用いた新しい $textbfCo$llaborative Learning アプローチを提案する。 このアプローチは、エンドユーザー全体にわたって特定の専門家を集約し、他者がユーザー固有のデータセットに特化するようにローカライズされたままにすることで、ジェネラリストやスペシャリストを区別する。
  論文  参考訳（メタデータ） (2024-09-20T22:34:37Z)
• HMoE: Heterogeneous Mixture of Experts for Language Modeling [45.65121689677227]
  伝統的に、Mixture of Experts (MoE)モデルは同一容量の均一なエキスパートを使用する。 本稿では,HMOE(Heterogeneous Mixture of Experts)を提案する。 HMoEは、活性化パラメータを少なくして低い損失を達成し、様々な事前学習評価ベンチマークにおいて、従来の均質なMoEモデルより優れる。
  論文  参考訳（メタデータ） (2024-08-20T09:35:24Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• HyperMoE: Towards Better Mixture of Experts via Transferring Among Experts [25.504602853436047]
  言語モデルのMixture of Experts (MoE)は、各入力トークンを特定の専門家のサブセットに動的にルーティングすることで、モデルのキャパシティを増大させる効果が証明されている。 我々はHypernetworks上に構築された新しいMoEフレームワークであるHyperMoEを提案する。 このフレームワークは、マルチタスク学習における知識伝達の概念とMoEの計算処理を統合する。
  論文  参考訳（メタデータ） (2024-02-20T02:09:55Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Federated Learning of Molecular Properties in a Heterogeneous Setting [79.00211946597845]
  これらの課題に対処するために、フェデレーションヘテロジニアス分子学習を導入する。 フェデレートラーニングにより、エンドユーザは、独立したクライアント上に分散されたトレーニングデータを保存しながら、グローバルモデルを協調的に構築できる。 FedChemは、化学におけるAI改善のための新しいタイプのコラボレーションを可能にする必要がある。
  論文  参考訳（メタデータ） (2021-09-15T12:49:13Z)
• Gaussian Experts Selection using Graphical Models [7.530615321587948]
  ローカル近似は、元のデータセットをサブセットに分割し、各サブセットでローカル専門家を訓練することで、時間の複雑さを低減する。 我々は、専門家間の条件依存を符号化するスパース精度行列を用いて、非方向性のグラフィカルモデルに関する文献からのテクニックを活用し、最も重要な専門家を選択する。
  論文  参考訳（メタデータ） (2021-02-02T14:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。