Fugu-MT 論文翻訳(概要): Transformers for Modeling Physical Systems

論文の概要: Transformers for Modeling Physical Systems

arxiv url: http://arxiv.org/abs/2010.03957v6
Date: Mon, 13 Dec 2021 21:27:40 GMT
ステータス: 処理完了
システム内更新日: 2022-10-11 04:17:35.578132
Title: Transformers for Modeling Physical Systems
Title（参考訳）: 物理系モデリング用変圧器
Authors: Nicholas Geneva, Nicholas Zabaras
Abstract要約: トランスフォーマーは、テキストの長期的な依存関係をモデル化できるため、自然言語処理で広く使われている。本稿では,物理現象を表す力学系の予測にトランスフォーマーモデルを適用することを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers are widely used in natural language processing due to their ability to model longer-term dependencies in text. Although these models achieve state-of-the-art performance for many language related tasks, their applicability outside of the natural language processing field has been minimal. In this work, we propose the use of transformer models for the prediction of dynamical systems representative of physical phenomena. The use of Koopman based embeddings provide a unique and powerful method for projecting any dynamical system into a vector representation which can then be predicted by a transformer. The proposed model is able to accurately predict various dynamical systems and outperform classical methods that are commonly used in the scientific machine learning literature.
Abstract（参考訳）: トランスフォーマーは、テキストの長期依存関係をモデル化できるため、自然言語処理で広く使われている。これらのモデルは、多くの言語関連タスクに対して最先端のパフォーマンスを達成するが、自然言語処理以外の適用性は最小限である。本研究では,物理現象を表す力学系の予測に変圧器モデルを用いることを提案する。クープマンをベースとした埋め込みは、任意の力学系をベクトル表現に射影するユニークで強力な方法を提供し、変換器によって予測できる。提案モデルでは,様々な力学系を正確に予測し,科学的機械学習の文献でよく用いられる古典的手法より優れる。

関連論文リスト

A Transformer with Stack Attention [84.18399019794036]
本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
論文参考訳（メタデータ） (2024-05-07T17:47:57Z)
Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics [3.3932293160775298]
現代のリカレントモデルでは,オンラインの人間の言語理解をモデル化する上で,比較可能な大きさのトランスフォーマーの性能を - そして場合によっては - 上回ることができることを示す。このことは、トランスフォーマー言語モデルがこのタスクに一意に適していないことを示唆し、言語モデルのアーキテクチャ的特徴が人間の言語理解のモデルをより良く、より悪いものにするかどうかについての議論のための新たな方向性を開くことを示唆している。
論文参考訳（メタデータ） (2024-04-30T01:02:15Z)
Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文参考訳（メタデータ） (2024-03-06T14:27:29Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
論文参考訳（メタデータ） (2022-07-13T17:18:02Z)
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文参考訳（メタデータ） (2022-03-01T17:22:31Z)
Which priors matter? Benchmarking models for learning latent dynamics [70.88999063639146]
古典力学の先行概念を機械学習モデルに統合する手法が提案されている。これらのモデルの現在の機能について、精査する。連続的および時間的可逆的ダイナミクスの使用は、すべてのクラスのモデルに恩恵をもたらす。
論文参考訳（メタデータ） (2021-11-09T23:48:21Z)
Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文参考訳（メタデータ） (2021-09-27T15:04:00Z)
Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文参考訳（メタデータ） (2021-02-25T20:28:52Z)
Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文参考訳（メタデータ） (2020-03-28T07:48:02Z)
Deep Representation Learning for Dynamical Systems Modeling [0.0]
本稿では,動的システムモデリングに適用可能な最先端トランスフォーマーモデルの適応性を提案する。このモデルはトラジェクトリ生成において有望な結果を示すとともに,一般アトラクタの特性近似においても有望な結果を示す。
論文参考訳（メタデータ） (2020-02-10T13:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。