論文の概要: Autoregressive model path dependence near Ising criticality

• arxiv url: http://arxiv.org/abs/2408.15715v1
• Date: Wed, 28 Aug 2024 11:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:10:57.770950
• Title: Autoregressive model path dependence near Ising criticality
• Title（参考訳）: Ising臨界付近の自己回帰モデルパス依存性
• Authors: Yi Hong Teoh, Roger G. Melko,
• Abstract要約: 2次元イジングモデルにおける臨界相関の再構成について検討した。 有限サイズ2次元格子に課される多数の異なる1次元自己回帰列のトレーニング性能を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive models are a class of generative model that probabilistically predict the next output of a sequence based on previous inputs. The autoregressive sequence is by definition one-dimensional (1D), which is natural for language tasks and hence an important component of modern architectures like recurrent neural networks (RNNs) and transformers. However, when language models are used to predict outputs on physical systems that are not intrinsically 1D, the question arises of which choice of autoregressive sequence -- if any -- is optimal. In this paper, we study the reconstruction of critical correlations in the two-dimensional (2D) Ising model, using RNNs and transformers trained on binary spin data obtained near the thermal phase transition. We compare the training performance for a number of different 1D autoregressive sequences imposed on finite-size 2D lattices. We find that paths with long 1D segments are more efficient at training the autoregressive models compared to space-filling curves that better preserve the 2D locality. Our results illustrate the potential importance in choosing the optimal autoregressive sequence ordering when training modern language models for tasks in physics.
• Abstract（参考訳）: 自己回帰モデル(Autoregressive model)は、前回の入力に基づいてシーケンスの次の出力を確率的に予測する生成モデルのクラスである。 自己回帰シーケンスは、言語タスクには自然な1次元(1D)を定義することにより、リカレントニューラルネットワーク(RNN)やトランスフォーマーといったモダンアーキテクチャの重要なコンポーネントとなる。 しかし、本質的な1Dではない物理系の出力を予測するために言語モデルが使用される場合、どの自己回帰配列が最適かという問題が発生する。 本稿では,RNNと熱相転移近傍で得られた2次元スピンデータを用いた2次元イジングモデルにおける臨界相関の再構成について検討する。 有限サイズ2次元格子に課される多数の異なる1次元自己回帰列のトレーニング性能を比較した。 長い1次元セグメントを持つ経路は、2次元の局所性をよりよく保存する空間充填曲線と比較して自己回帰モデルを訓練する上でより効率的であることがわかった。 本研究は,物理におけるタスクに対する現代言語モデルの訓練において,最適な自己回帰順序付けを選択することの重要性を示唆するものである。

関連論文リスト

• Bilinear Sequence Regression: A Model for Learning from Long Sequences of High-dimensional Tokens [14.424050371971354]
  トークン列の最も基本的なモデルの一つとして,双線形シーケンス回帰(BSR)を導入,研究する。 トークン列のベクトル化や単純な線形回帰による学習に関して、最適な学習がもたらす改善を定量化する。
  論文  参考訳（メタデータ） (2024-10-24T15:44:03Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Path Development Network with Finite-dimensional Lie Group Representation [3.9983665898166425]
  有限次元リー群を経由したシーケンシャルデータの表現を利用する,新しい訓練可能な経路開発層を提案する。 提案するレイヤは、リカレントニューラルネットワーク(RNN)に類似しており、勾配問題を緩和する明示的で単純なリカレントユニットを有している。 様々なデータセットにおける実験結果から、開発層は、精度と次元性において、シグネチャ特性を一貫して、著しく上回っていることが示される。
  論文  参考訳（メタデータ） (2022-04-02T02:01:00Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Emulating Spatio-Temporal Realizations of Three-Dimensional Isotropic Turbulence via Deep Sequence Learning Models [24.025975236316842]
  最先端のディープラーニング技術を用いて3次元乱流をモデル化するために,データ駆動方式を用いる。 モデルの精度は、統計および物理に基づくメトリクスを用いて評価される。
  論文  参考訳（メタデータ） (2021-12-07T03:33:39Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。