論文の概要: FLUID-LLM: Learning Computational Fluid Dynamics with Spatiotemporal-aware Large Language Models

• arxiv url: http://arxiv.org/abs/2406.04501v1
• Date: Thu, 6 Jun 2024 20:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 17:57:38.817279
• Title: FLUID-LLM: Learning Computational Fluid Dynamics with Spatiotemporal-aware Large Language Models
• Title（参考訳）: FLUID-LLM:時空間対応大言語モデルを用いた数値流体力学の学習
• Authors: Max Zhu, Adrián Bazaga, Pietro Liò,
• Abstract要約: 大規模言語モデル(LLM)は、顕著なパターン認識と推論能力を示している。 FLUID-LLMは,非定常流体力学を予測するために,事前学習LLMと事前認識符号化を組み合わせた新しいフレームワークである。 この結果から,FLUID-LLMは時間情報を事前学習したLLMに効果的に統合し,CFDタスク性能を向上させることが示唆された。
• 参考スコア（独自算出の注目度）: 15.964726158869777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning computational fluid dynamics (CFD) traditionally relies on computationally intensive simulations of the Navier-Stokes equations. Recently, large language models (LLMs) have shown remarkable pattern recognition and reasoning abilities in natural language processing (NLP) and computer vision (CV). However, these models struggle with the complex geometries inherent in fluid dynamics. We introduce FLUID-LLM, a novel framework combining pre-trained LLMs with spatiotemporal-aware encoding to predict unsteady fluid dynamics. Our approach leverages the temporal autoregressive abilities of LLMs alongside spatial-aware layers, bridging the gap between previous CFD prediction methods. Evaluations on standard benchmarks reveal significant performance improvements across various fluid datasets. Our results demonstrate that FLUID-LLM effectively integrates spatiotemporal information into pre-trained LLMs, enhancing CFD task performance.
• Abstract（参考訳）: 計算流体力学(CFD)の学習は伝統的にナヴィエ・ストークス方程式の計算集約的なシミュレーションに依存している。 近年,大規模言語モデル (LLM) は自然言語処理 (NLP) やコンピュータビジョン (CV) において顕著なパターン認識と推論能力を示している。 しかし、これらのモデルは流体力学に固有の複雑な幾何学と競合する。 FLUID-LLMは,非定常流体力学を予測するために,事前学習したLLMと時空間認識符号化を組み合わせた新しいフレームワークである。 提案手法は,従来のCFD予測手法のギャップを埋めるため,空間認識層とともにLLMの時間的自己回帰能力を活用する。 標準ベンチマークの評価では、さまざまな流体データセット間での大幅なパフォーマンス向上が示されている。 この結果から,FLUID-LLMは時空間情報を事前学習したLLMに効果的に統合し,CFDタスク性能を向上させることが示唆された。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• FlowDAS: A Flow-Based Framework for Data Assimilation [15.64941169350615]
  FlowDASは、状態遷移ダイナミクスと生成前の学習を統合するために補間剤を用いた新しい生成モデルベースのフレームワークである。 実験では,ローレンツシステムから高次元流体超解像タスクに至るまで,様々なベンチマークにおいてFlowDASの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-13T05:03:41Z)
• Data-Efficient Inference of Neural Fluid Fields via SciML Foundation Model [49.06911227670408]
  本研究では,SciML基礎モデルにより,現実の3次元流体力学を推定する際のデータ効率を大幅に向上できることを示す。 基礎モデルから抽出した拡張ビューと流体特徴を利用した新しい協調学習手法をニューラルネットワークに装備する。
  論文  参考訳（メタデータ） (2024-12-18T14:39:43Z)
• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law [3.281128493853064]
  主にテキストに基づいて訓練された言語モデルは、微調整やプロンプトエンジニアリングなしで動的システム時系列の正確な予測を行う。 LLMから直接多桁数の確率密度関数を抽出するフレキシブルで効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:28:10Z)
• Machine Learning model for gas-liquid interface reconstruction in CFD numerical simulations [59.84561168501493]
  流体の体積(VoF)法は多相流シミュレーションにおいて2つの不混和性流体間の界面を追跡・見つけるために広く用いられている。 VoF法の主なボトルネックは、計算コストが高く、非構造化グリッド上での精度が低いため、インタフェース再構成のステップである。 一般的な非構造化メッシュ上でのインタフェース再構築を高速化するために,グラフニューラルネットワーク(GNN)に基づく機械学習拡張VoF手法を提案する。
  論文  参考訳（メタデータ） (2022-07-12T17:07:46Z)
• Real-time simulation of parameter-dependent fluid flows through deep learning-based reduced order models [0.2538209532048866]
  還元次数モデル (ROM) はパラメータ依存の流体力学問題を高速に近似する。 ディープラーニング(DL)ベースのROMは、非線形トライアル多様体と還元力学の両方を非侵襲的に学習することで、これらの制限をすべて克服する。 得られたPOD-DL-ROMは、シリンダーベンチマークの周囲の流れ、固定された剛性ブロックに付着した弾性ビームとラミナー非圧縮性フローとの流体構造相互作用、大脳動脈瘤内の血流のほぼリアルタイムに正確な結果をもたらすことが示されている。
  論文  参考訳（メタデータ） (2021-06-10T13:07:33Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Learning Incompressible Fluid Dynamics from Scratch -- Towards Fast, Differentiable Fluid Models that Generalize [7.707887663337803]
  最近のディープラーニングベースのアプローチは、膨大なスピードアップを約束するが、新しい流体ドメインには一般化しない。 本稿では,新しい流体領域に一般化する物理制約付きトレーニング手法を提案する。 トレーニングされたモデルの速度と一般化能力を示すインタラクティブなリアルタイムデモを提示する。
  論文  参考訳（メタデータ） (2020-06-15T20:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。