論文の概要: Quantum Many-Body Physics Calculations with Large Language Models
- arxiv url: http://arxiv.org/abs/2403.03154v2
- Date: Thu, 22 Aug 2024 22:42:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 19:58:50.679857
- Title: Quantum Many-Body Physics Calculations with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた量子多体物理計算
- Authors: Haining Pan, Nayantara Mudur, Will Taranto, Maria Tikhanovskaya, Subhashini Venugopalan, Yasaman Bahri, Michael P. Brenner, Eun-Ah Kim,
- Abstract要約: 大規模言語モデル(LLM)は、複数のドメインで複雑なタスクを実行する前例のない能力を示している。
我々は、量子物理学において広く用いられている近似法、Hartree-Fock法に焦点をあてる。
解析計算を標準化されたステップに分解する多段階プロンプトテンプレートを設計する。
我々は過去10年間の15の研究論文の計算におけるGPT-4の性能を評価した。
- 参考スコア（独自算出の注目度）: 7.679615503214482
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Large language models (LLMs) have demonstrated an unprecedented ability to perform complex tasks in multiple domains, including mathematical and scientific reasoning. We demonstrate that with carefully designed prompts, LLMs can accurately carry out key calculations in research papers in theoretical physics. We focus on a broadly used approximation method in quantum physics: the Hartree-Fock method, requiring an analytic multi-step calculation deriving approximate Hamiltonian and corresponding self-consistency equations. To carry out the calculations using LLMs, we design multi-step prompt templates that break down the analytic calculation into standardized steps with placeholders for problem-specific information. We evaluate GPT-4's performance in executing the calculation for 15 research papers from the past decade, demonstrating that, with correction of intermediate steps, it can correctly derive the final Hartree-Fock Hamiltonian in 13 cases and makes minor errors in 2 cases. Aggregating across all research papers, we find an average score of 87.5 (out of 100) on the execution of individual calculation steps. Overall, the requisite skill for doing these calculations is at the graduate level in quantum condensed matter theory. We further use LLMs to mitigate the two primary bottlenecks in this evaluation process: (i) extracting information from papers to fill in templates and (ii) automatic scoring of the calculation steps, demonstrating good results in both cases. The strong performance is the first step for developing algorithms that automatically explore theoretical hypotheses at an unprecedented scale.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、数学的および科学的推論を含む複数の領域で複雑なタスクを実行する前例のない能力を示した。
我々は、慎重に設計されたプロンプトにより、LLMが理論物理学における研究論文において重要な計算を正確に行うことができることを示した。
量子物理学において、近似ハミルトニアンおよびそれに対応する自己整合性方程式を導出した解析的多段階計算を必要とするハートリー・フォック法(Hartree-Fock method)という、広く用いられている近似法に焦点をあてる。
LLMを用いて計算を行うために,問題固有情報のためのプレースホルダーを用いて,解析計算を標準化されたステップに分解する多段階プロンプトテンプレートを設計する。
GPT-4は過去10年間の15件の研究論文の計算性能を評価し,中間段階の補正により,最終Hartree-Fock Hamiltonianが13例で正しく導出され,2例で小さな誤差が生じることを示した。
すべての研究論文を集約すると、個々の計算ステップの実行において平均87.5点(100点中87.5点)のスコアが得られます。
全体として、これらの計算を行うために必要なスキルは、量子凝縮物質理論の卒業レベルにある。
この評価プロセスにおける2つの主要なボトルネックを軽減するために、さらにLLMを使用します。
一 テンプレートに記入するための書類から情報を取り出すこと。
二 計算工程の自動採点で、両方の場合において良い結果を示すこと。
強力な性能は、理論仮説を前例のない規模で自動的に探求するアルゴリズムを開発するための第一歩である。
関連論文リスト
- Scaling Laws for Mixed quantization in Large Language Models [10.912306313183972]
大規模言語モデル(LLM)の学習後の量子化は、これらのモデルで推論を実行する際の計算量の削減に有効であることが証明されている。
本研究では,低精度量子化のための特定の精度やパープレキシティターゲットを目指している場合,LLMを大規模化する際に,高い精度の数値や計算がいくつ必要か,という簡単な問題に焦点をあてる。
論文 参考訳（メタデータ） (2024-10-09T09:45:01Z) - Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。
本研究では,LLMが計算を行う特定のメカニズムを明らかにする。
LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
論文 参考訳（メタデータ） (2024-09-03T07:01:46Z) - Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
LLMにおける推論時間計算のスケーリングについて検討する。
どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
論文 参考訳（メタデータ） (2024-08-06T17:35:05Z) - Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。
我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。
提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文 参考訳（メタデータ） (2024-06-20T15:25:13Z) - The Fine-Grained Complexity of Gradient Computation for Training Large
Language Models [12.853829771559916]
大規模言語モデル(LLM)は、ここ数年で基本的な貢献をしている。
本研究では,1層注目ネットワークの損失関数勾配の計算の難易度問題に対して,ほぼ同じ結果を示す。
論文 参考訳（メタデータ） (2024-02-07T00:45:31Z) - QuIP: 2-Bit Quantization of Large Language Models With Guarantees [44.212441764241]
本研究では,大規模言語モデル(LLM)における学習後のパラメータ量子化について研究する。
Incoherence Processing (QuIP) を用いた量子化を導入する。これは、$textitincoherent$ weight と Hessian matrices から量子化が恩恵を受けるという知見に基づく新しい方法である。
論文 参考訳（メタデータ） (2023-07-25T07:44:06Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-06-04T17:02:59Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - End-to-end resource analysis for quantum interior point methods and portfolio optimization [63.4863637315163]
問題入力から問題出力までの完全な量子回路レベルのアルゴリズム記述を提供する。
アルゴリズムの実行に必要な論理量子ビットの数と非クリフォードTゲートの量/深さを報告する。
論文 参考訳（メタデータ） (2022-11-22T18:54:48Z) - Quantum Sparse Coding [5.130440339897477]
我々はスパース符号化のための量子インスピレーション付きアルゴリズムを開発した。
量子コンピュータとイジングマシンの出現は、より正確な推定につながる可能性がある。
我々はLightrの量子インスパイアされたデジタルプラットフォーム上でシミュレーションデータを用いて数値実験を行う。
論文 参考訳（メタデータ） (2022-09-08T13:00:30Z) - Quantum Algorithms for Data Representation and Analysis [68.754953879193]
機械学習におけるデータ表現のための固有problemsの解を高速化する量子手続きを提供する。
これらのサブルーチンのパワーと実用性は、主成分分析、対応解析、潜在意味解析のための入力行列の大きさのサブ線形量子アルゴリズムによって示される。
その結果、入力のサイズに依存しない実行時のパラメータは妥当であり、計算モデル上の誤差が小さいことが示され、競合的な分類性能が得られる。
論文 参考訳（メタデータ） (2021-04-19T00:41:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。