論文の概要: Beyond Language: Applying MLX Transformers to Engineering Physics

• arxiv url: http://arxiv.org/abs/2410.04167v1
• Date: Sat, 5 Oct 2024 14:10:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 13:41:32.298008
• Title: Beyond Language: Applying MLX Transformers to Engineering Physics
• Title（参考訳）: Beyond Language: MLX変換器をエンジニアリング物理学に適用する
• Authors: Stavros Kassinos, Alessio Alexiadis,
• Abstract要約: ディリクレ境界条件を持つ2次元プレートにおける熱伝導問題を解くための物理インフォームドトランスモデルを提案する。 このモデルは機械学習フレームワークMLXで実装され、Apple Mシリーズプロセッサの統一メモリを活用する。 トランスフォーマーモデルの訓練, 検証, 試験には, 中心有限差分を用いた2次元熱伝導問題を解く。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer Neural Networks are driving an explosion of activity and discovery in the field of Large Language Models (LLMs). In contrast, there have been only a few attempts to apply Transformers in engineering physics. Aiming to offer an easy entry point to physics-centric Transformers, we introduce a physics-informed Transformer model for solving the heat conduction problem in a 2D plate with Dirichlet boundary conditions. The model is implemented in the machine learning framework MLX and leverages the unified memory of Apple M-series processors. The use of MLX means that the models can be trained and perform predictions efficiently on personal machines with only modest memory requirements. To train, validate and test the Transformer model we solve the 2D heat conduction problem using central finite differences. Each finite difference solution in these sets is initialized with four random Dirichlet boundary conditions, a uniform but random internal temperature distribution and a randomly selected thermal diffusivity. Validation is performed in-line during training to monitor against over-fitting. The excellent performance of the trained model is demonstrated by predicting the evolution of the temperature field to steady state for the unseen test set of conditions.
• Abstract（参考訳）: Transformer Neural Networksは、Large Language Models(LLMs)の分野で、活動と発見の爆発を駆動している。 対照的に、トランスフォーマーを工学物理学に適用しようとする試みはごくわずかである。 ディリクレ境界条件を持つ2次元プレートにおける熱伝導問題を解くための物理インフォームドトランスモデルを提案する。 このモデルは機械学習フレームワークMLXで実装され、Apple Mシリーズプロセッサの統一メモリを活用する。 MLXの使用は、モデルをトレーニングし、控えめなメモリ要件だけでパーソナルマシン上で効率的に予測を行うことができることを意味している。 トランスフォーマーモデルの訓練, 検証, 試験には, 中心有限差分を用いた2次元熱伝導問題を解く。 これらの集合における各有限差分解は、4つのランダムなディリクレ境界条件、一様だがランダムな内部温度分布、ランダムに選択された熱拡散率で初期化される。 検証はトレーニング中にインラインで行われ、過度に適合しないように監視する。 未確認条件に対する温度場から定常状態への進化を予測することにより, 学習モデルの優れた性能を実証した。

関連論文リスト

• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• A finite element-based physics-informed operator learning framework for spatiotemporal partial differential equations on arbitrary domains [33.7054351451505]
  偏微分方程式(PDE)によって支配される力学を予測できる新しい有限要素に基づく物理演算子学習フレームワークを提案する。 提案した演算子学習フレームワークは、現在の時間ステップで温度場を入力として、次の時間ステップで温度場を予測する。 ネットワークは、FEM溶液と比較して、任意の初期温度場の時間的変化を高精度に予測することに成功した。
  論文  参考訳（メタデータ） (2024-05-21T02:41:40Z)
• Real-Time 2D Temperature Field Prediction in Metal Additive Manufacturing Using Physics-Informed Neural Networks [1.9116784879310036]
  金属添加物製造プロセスの温度場を正確に予測することは、過熱の防止、プロセスパラメータの調整、プロセス安定性の確保に重要である。 本稿では,金属AMの温度場予測に特化して設計された物理インフォームドニューラルネットワークフレームワークを提案する。 提案手法を2つのシナリオで検証し, 薄肉のフルフィールド温度予測と円筒部と立方体部の2次元温度予測を行い, それぞれ3%, 1%未満の誤差を示した。
  論文  参考訳（メタデータ） (2024-01-04T18:42:28Z)
• Equivariant Transformer is all you need [0.0]
  自己学習モンテカルロに対称性同変注意を導入する。 線形モデルに対する受理率の低さを克服し,Transformer を用いた大規模言語モデルのように,受理率のスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2023-10-20T01:57:03Z)
• Trainable Transformer in Transformer [48.754918968374334]
  本稿では,Transformer in Transformer(略してTinT)の効率的な構築法を提案する。 TinTは多くの変圧器の変種に対応しており、その設計思想は変圧器内部の単純なモデルの過去のインスタンス化の効率も改善している。 これらの結果から,大規模事前学習言語モデルでは複雑な推論が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-07-03T17:53:39Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• Physics-informed machine learning with differentiable programming for heterogeneous underground reservoir pressure management [64.17887333976593]
  地下貯水池の過圧化を避けることは、CO2の沈殿や排水の注入といった用途に欠かせない。 地中における複雑な不均一性のため, 噴射・抽出制御による圧力管理は困難である。 過圧化防止のための流体抽出速度を決定するために、フル物理モデルと機械学習を用いた微分可能プログラミングを用いる。
  論文  参考訳（メタデータ） (2022-06-21T20:38:13Z)
• Learning physics-informed simulation models for soft robotic manipulation: A case study with dielectric elastomer actuators [21.349079159359746]
  柔らかいアクチュエータは、緩やかな握りや器用な動きといったロボット作業に対して安全かつ適応的なアプローチを提供する。 このようなシステムを制御するための正確なモデルを作成することは、変形可能な物質の複雑な物理のために困難である。 本稿では,微分可能シミュレータと有限要素法の利点を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-25T21:15:05Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)
• A Physics-Informed Machine Learning Approach for Solving Heat Transfer Equation in Advanced Manufacturing and Engineering Applications [3.04585143845864]
  導電性熱伝達偏微分方程式(PDE)を解くために物理インフォームドニューラルネットワークを開発した。 部品をオーブンで加熱する製造や工学の用途で用いられる。
  論文  参考訳（メタデータ） (2020-09-28T18:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。