論文の概要: M$^{2}$M: Learning controllable Multi of experts and multi-scale operators are the Partial Differential Equations need

• arxiv url: http://arxiv.org/abs/2410.11617v1
• Date: Tue, 01 Oct 2024 15:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-20 10:10:30.652894
• Title: M$^{2}$M: Learning controllable Multi of experts and multi-scale operators are the Partial Differential Equations need
• Title（参考訳）: M$^{2}$M: 制御可能なエキスパートとマルチスケールオペレータの学習は、部分微分方程式の必要性である
• Authors: Aoming Liang, Zhaoyang Mu, Pengxiao Lin, Cong Wang, Mingming Ge, Ling Shao, Dixia Fan, Hao Tang,
• Abstract要約: 本稿では,PDEを効率的にシミュレートし,学習するためのマルチスケール・マルチエキスパート(M$2$M)ニューラル演算子のフレームワークを提案する。 我々は、動的ルータポリシーのために、マルチエキスパートゲートネットワークをトレーニングするために、分断方式を採用する。 提案手法は,専門家の選択権を決定する制御可能な事前ゲーティング機構を組み込んで,モデルの効率を向上させる。
• 参考スコア（独自算出の注目度）: 43.534771810528305
• License:
• Abstract: Learning the evolutionary dynamics of Partial Differential Equations (PDEs) is critical in understanding dynamic systems, yet current methods insufficiently learn their representations. This is largely due to the multi-scale nature of the solution, where certain regions exhibit rapid oscillations while others evolve more slowly. This paper introduces a framework of multi-scale and multi-expert (M$^2$M) neural operators designed to simulate and learn PDEs efficiently. We employ a divide-and-conquer strategy to train a multi-expert gated network for the dynamic router policy. Our method incorporates a controllable prior gating mechanism that determines the selection rights of experts, enhancing the model's efficiency. To optimize the learning process, we have implemented a PI (Proportional, Integral) control strategy to adjust the allocation rules precisely. This universal controllable approach allows the model to achieve greater accuracy. We test our approach on benchmark 2D Navier-Stokes equations and provide a custom multi-scale dataset. M$^2$M can achieve higher simulation accuracy and offer improved interpretability compared to baseline methods.
• Abstract（参考訳）: 部分微分方程式(PDE)の進化力学を学習することは、力学系を理解する上で重要であるが、現在の手法では表現を十分に学べない。 これは、ある領域が急激な振動を示す一方で、他の領域がよりゆっくり進化する、溶液のマルチスケールの性質に起因する。 本稿では,PDEを効率的にシミュレートし,学習するために設計されたマルチスケール・マルチエキスパート(M$2$M)ニューラル演算子のフレームワークを提案する。 我々は、動的ルータポリシーのために、マルチエキスパートゲートネットワークをトレーニングするために、分断方式を採用する。 提案手法は,専門家の選択権を決定する制御可能な事前ゲーティング機構を組み込んで,モデルの効率を向上させる。 学習過程を最適化するために、割り当てルールを正確に調整するためのPI(Proportional, Integral)制御戦略を実装した。 この普遍的な制御可能なアプローチは、モデルをより精度の高いものにすることができる。 我々は2D Navier-Stokes方程式のベンチマークでアプローチを検証し、カスタムなマルチスケールデータセットを提供する。 M$2$Mはシミュレーション精度が向上し、ベースライン法よりも高い解釈性が得られる。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• M2NO: Multiresolution Operator Learning with Multiwavelet-based Algebraic Multigrid Method [13.93532934867225]
  本稿では,新しいディープラーニングフレームワークであるMultiwaveletベースの代数的マルチグリッドニューラル演算子(M2NO)を紹介する。 これら2つのアプローチの固有の類似性を利用して、M2NOは様々なPDEベンチマークの精度と柔軟性を向上させる。 M2NOは高分解能および超高分解能タスクの処理に優れ、競合するモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-07T10:47:40Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Learning Control Admissibility Models with Graph Neural Networks for Multi-Agent Navigation [9.05607520128194]
  制御適応モデル(CAM)は、任意の数のエージェントに対するオンライン推論のために簡単に構成され、使用することができる。 CAMモデルは少数のエージェントしか持たない環境で訓練でき、数百のエージェントで密集した環境に展開するために容易に構成でき、最先端の手法よりも優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-17T19:20:58Z)
• Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization [101.32332941117271]
  決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
  論文  参考訳（メタデータ） (2022-05-05T13:40:08Z)
• Interfacing Finite Elements with Deep Neural Operators for Fast Multiscale Modeling of Mechanics Problems [4.280301926296439]
  本研究では,機械学習を用いたマルチスケールモデリングのアイデアを探求し,高コストソルバの効率的なサロゲートとしてニューラル演算子DeepONetを用いる。 DeepONetは、きめ細かい解法から取得したデータを使って、基礎とおそらく未知のスケールのダイナミクスを学習してオフラインでトレーニングされている。 精度とスピードアップを評価するための様々なベンチマークを提示し、特に時間依存問題に対する結合アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-25T20:46:08Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。