論文の概要: Transformer variational wave functions for frustrated quantum spin systems

• arxiv url: http://arxiv.org/abs/2211.05504v1
• Date: Thu, 10 Nov 2022 11:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-19 19:32:09.461002
• Title: Transformer variational wave functions for frustrated quantum spin systems
• Title（参考訳）: フラストレーション量子スピン系に対する変圧器変分波動関数
• Authors: Luciano Loris Viteritti, Riccardo Rende and Federico Becca
• Abstract要約: 本稿では,量子多体系に対する新しい変分ニューラルネットワーク状態のクラスを定義するために,ViTアーキテクチャの適応を提案する。 ViT状態は指数関数的に崩壊するスピンスピン相関と二量体秩序の出現を正確に記述する。 ViT波動関数の成功は、局所演算と大域演算の混合に依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The $\textit{Transformer architecture}$ has become the state-of-art model for natural language processing tasks, avoiding recurrent and convolutional structures. Its key feature is the ability to describe long-range correlations among the elements of the input sequences. This approach has also been adapted to computer vision tasks, thus defining the $\textit{Vision Transformer}$ (ViT) architecture, obtaining competitive results compared to state-of-art deep Convolutional-Neural Networks. Motivated by these achievements, we propose an adaptation of the ViT architecture with complex parameters to define a new class of variational neural-network states for quantum many-body systems, the $\textit{ViT wave function}$. We apply this idea to the one-dimensional $J_1$-$J_2$ Heisenberg model, demonstrating that a relatively simple parametrization gets excellent results for both gapped and gapless phases. In particular, the ViT state accurately describes exponentially decaying spin-spin correlations and the emergence of dimer order in the former case, as well as long-range spin-spin correlations within the latter one. The success of the ViT wave function relies on mixing both local and global operations, thus enabling the study of large systems with high accuracy.
• Abstract（参考訳）: textit{transformer architecture}$は、自然言語処理タスクの最先端モデルとなり、リカレントおよび畳み込み構造を避けている。 その重要な特徴は、入力シーケンスの要素間の長距離相関を記述する能力である。 このアプローチはコンピュータビジョンのタスクにも適用されており、$\textit{Vision Transformer}$ (ViT)アーキテクチャを定義し、最先端の畳み込みニューラルネットワークと比較して競合的な結果が得られる。 これらの成果により、量子多体系における変分ニューラルネットワーク状態の新しいクラスである$\textit{ViT wave function}$を定義するために、複雑なパラメータを持つViTアーキテクチャの適応を提案する。 このアイデアを1次元の$j_1$-$j_2$ハイゼンベルクモデルに適用し、比較的単純なパラメトリゼーションがガッピング位相とギャップレス位相の両方において優れた結果が得られることを示した。 特に、ViT状態は、指数関数的に崩壊するスピンスピン相関と前者の二量体秩序の出現、および後者のスピンスピン相関を正確に記述する。 ViT波動関数の成功は、局所演算と大域演算の混合に依存するため、大規模システムの研究を高精度に行うことができる。

関連論文リスト

• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• Orchid: Flexible and Data-Dependent Convolution for Sequence Modeling [4.190836962132713]
  本稿では,従来の注意機構の2次複雑さに対処する新しいアーキテクチャであるOrchidを紹介する。 このアーキテクチャのコアには、新しいデータ依存のグローバル畳み込み層があり、入力シーケンスに条件付きカーネルを文脈的に適応させる。 言語モデリングや画像分類など,複数の領域にまたがるモデルの評価を行い,その性能と汎用性を強調した。
  論文  参考訳（メタデータ） (2024-02-28T17:36:45Z)
• Hiformer: Heterogeneous Feature Interactions Learning with Transformers for Recommender Systems [27.781785405875084]
  本稿では,トランスフォーマーをベースとしたアーキテクチャに注目層を配置し,機能的インタラクションを自動的にキャプチャする手法を提案する。 我々は,Webスケールレコメンデータシステムにバニラトランスフォーマーアーキテクチャを適用する上で,2つの重要な課題を特定する。
  論文  参考訳（メタデータ） (2023-11-10T05:57:57Z)
• Optimizing Design Choices for Neural Quantum States [0.0]
  本稿では、スピンハミルトニアンの基底状態探索に使用される一般的なネットワークアーキテクチャと対称性スキームの比較を行う。 基底状態の非自明な符号構造が存在する場合、対称性の細部が性能に重要な影響を与えていることが分かる。
  論文  参考訳（メタデータ） (2023-01-17T10:30:05Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• Global Filter Networks for Image Classification [90.81352483076323]
  本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。 この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-07-01T17:58:16Z)
• Vision Transformer Architecture Search [64.73920718915282]
  現在の視覚変換器(ViT)は、自然言語処理(NLP)タスクから単純に継承される。 ハードウェア予算に類似した最適アーキテクチャを探索するために,ViTASと呼ばれるアーキテクチャ探索手法を提案する。 検索したアーキテクチャは、ImageNetで74.7%の精度で、現在のベースラインのViTアーキテクチャよりも2.5%高い。
  論文  参考訳（メタデータ） (2021-06-25T15:39:08Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。