論文の概要: Autoregressive model path dependence near Ising criticality
- arxiv url: http://arxiv.org/abs/2408.15715v1
- Date: Wed, 28 Aug 2024 11:21:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 16:10:57.770950
- Title: Autoregressive model path dependence near Ising criticality
- Title(参考訳): Ising臨界付近の自己回帰モデルパス依存性
- Authors: Yi Hong Teoh, Roger G. Melko,
- Abstract要約: 2次元イジングモデルにおける臨界相関の再構成について検討した。
有限サイズ2次元格子に課される多数の異なる1次元自己回帰列のトレーニング性能を比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive models are a class of generative model that probabilistically predict the next output of a sequence based on previous inputs. The autoregressive sequence is by definition one-dimensional (1D), which is natural for language tasks and hence an important component of modern architectures like recurrent neural networks (RNNs) and transformers. However, when language models are used to predict outputs on physical systems that are not intrinsically 1D, the question arises of which choice of autoregressive sequence -- if any -- is optimal. In this paper, we study the reconstruction of critical correlations in the two-dimensional (2D) Ising model, using RNNs and transformers trained on binary spin data obtained near the thermal phase transition. We compare the training performance for a number of different 1D autoregressive sequences imposed on finite-size 2D lattices. We find that paths with long 1D segments are more efficient at training the autoregressive models compared to space-filling curves that better preserve the 2D locality. Our results illustrate the potential importance in choosing the optimal autoregressive sequence ordering when training modern language models for tasks in physics.
- Abstract(参考訳): 自己回帰モデル(Autoregressive model)は、前回の入力に基づいてシーケンスの次の出力を確率的に予測する生成モデルのクラスである。
自己回帰シーケンスは、言語タスクには自然な1次元(1D)を定義することにより、リカレントニューラルネットワーク(RNN)やトランスフォーマーといったモダンアーキテクチャの重要なコンポーネントとなる。
しかし、本質的な1Dではない物理系の出力を予測するために言語モデルが使用される場合、どの自己回帰配列が最適かという問題が発生する。
本稿では,RNNと熱相転移近傍で得られた2次元スピンデータを用いた2次元イジングモデルにおける臨界相関の再構成について検討する。
有限サイズ2次元格子に課される多数の異なる1次元自己回帰列のトレーニング性能を比較した。
長い1次元セグメントを持つ経路は、2次元の局所性をよりよく保存する空間充填曲線と比較して自己回帰モデルを訓練する上でより効率的であることがわかった。
本研究は,物理におけるタスクに対する現代言語モデルの訓練において,最適な自己回帰順序付けを選択することの重要性を示唆するものである。
関連論文リスト
- SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文 参考訳(メタデータ) (2023-06-08T17:59:58Z) - A Hybrid Framework for Sequential Data Prediction with End-to-End
Optimization [0.0]
オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。
逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。
本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
論文 参考訳(メタデータ) (2022-03-25T17:13:08Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Emulating Spatio-Temporal Realizations of Three-Dimensional Isotropic
Turbulence via Deep Sequence Learning Models [24.025975236316842]
最先端のディープラーニング技術を用いて3次元乱流をモデル化するために,データ駆動方式を用いる。
モデルの精度は、統計および物理に基づくメトリクスを用いて評価される。
論文 参考訳(メタデータ) (2021-12-07T03:33:39Z) - Structured Reordering for Modeling Latent Alignments in Sequence
Transduction [86.94309120789396]
本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。
結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
論文 参考訳(メタデータ) (2021-06-06T21:53:54Z) - Generative Text Modeling through Short Run Inference [47.73892773331617]
本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。
短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
論文 参考訳(メタデータ) (2021-05-27T09:14:35Z) - Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。
AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
論文 参考訳(メタデータ) (2020-04-03T16:24:47Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳(メタデータ) (2020-02-17T20:13:35Z) - A machine learning based plasticity model using proper orthogonal
decomposition [0.0]
データ駆動の物質モデルは、古典的な数値的アプローチよりも多くの利点がある。
データ駆動型マテリアルモデルを開発する1つのアプローチは、機械学習ツールを使用することである。
弾性と塑性の両面において,機械学習に基づく材料モデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2020-01-07T15:46:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。