論文の概要: Reducing Memory Requirements of Quantum Optimal Control

• arxiv url: http://arxiv.org/abs/2203.12717v1
• Date: Wed, 23 Mar 2022 20:42:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-21 02:31:57.286175
• Title: Reducing Memory Requirements of Quantum Optimal Control
• Title（参考訳）: 量子最適制御のメモリ要件の低減
• Authors: Sri Hari Krishna Narayanan, Thomas Propson, Marcelo Bongarti, Jan Hueckelheim and Paul Hovland
• Abstract要約: GRAPEのような勾配に基づくアルゴリズムは、ストレージの指数的な増加、量子ビットの増加、メモリ要求の線形増加、時間ステップの増加に悩まされる。 我々は、ユニタリ行列の逆が共役変換であるという事実を利用して、GRAPEが必要とする勾配を計算できる非標準自動微分法を開発した。 提案手法は, GRAPEのメモリ要求を大幅に低減し, 妥当な再計算を犠牲にしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantum optimal control problems are typically solved by gradient-based algorithms such as GRAPE, which suffer from exponential growth in storage with increasing number of qubits and linear growth in memory requirements with increasing number of time steps. These memory requirements are a barrier for simulating large models or long time spans. We have created a nonstandard automatic differentiation technique that can compute gradients needed by GRAPE by exploiting the fact that the inverse of a unitary matrix is its conjugate transpose. Our approach significantly reduces the memory requirements for GRAPE, at the cost of a reasonable amount of recomputation. We present benchmark results based on an implementation in JAX.
• Abstract（参考訳）: 量子最適制御問題は典型的にはグレープなどの勾配に基づくアルゴリズムによって解決されるが、これは量子ビット数の増加に伴うストレージの指数関数的な増加とメモリ要求の線形成長に苦しむ。 これらのメモリ要件は、大きなモデルや長い時間スパンをシミュレートするための障壁である。 我々は,ユニタリ行列の逆行列がその共役転置であるという事実を利用して,グレープに必要な勾配を計算する非標準的な自動微分手法を開発した。 提案手法は, GRAPEのメモリ要求を大幅に低減し, 妥当な再計算を犠牲にしている。 JAX の実装に基づくベンチマーク結果を示す。

関連論文リスト

• Orthogonal Finetuning Made Scalable [87.49040247077389]
  OFT(Orthogonal Finetuning)は、壊滅的な忘れ込みを防止しつつ、パラメータ効率の高い適応を提供するが、実行時とメモリの要求が高いため、実際のデプロイメントが制限される。 ここでは,OFTの計算ボトルネックを重み中心の実装とみなす。 本稿では,行列ベクトル乗法(行列フリー計算)を用いて,計算コストを2次に削減する入力中心の変換法OFTv2を提案する。 これらの修正により、OFTv2はパフォーマンスを損なうことなく、最大10倍高速なトレーニングと3倍のGPUメモリ使用率を達成することができる。
  論文  参考訳（メタデータ） (2025-06-24T17:59:49Z)
• Rigorous Maximum Likelihood Estimation for Quantum States [2.5782420501870296]
  既存の量子状態トモグラフィーは、高い計算とメモリ要求のため、限られたスケーラビリティの厳密な終了を避ける。 本稿では,行列を因子によって再構成することで,これらの制約に対処する。 提案手法は,5時間以内で最先端問題に対する最先端のソリューションを実証できることを実証する。
  論文  参考訳（メタデータ） (2025-06-19T23:18:50Z)
• Fine-tuning Quantized Neural Networks with Zeroth-order Optimization [18.645267970472936]
  量子化ゼロ階最適化(Quantized Zeroth-order Optimization, QZO)は、連続量子化スケールを推定するために摂動させ、訓練を安定させるために方向微分クリッピング法を用いる新しい手法である。 QZOは4ビットLLMの合計メモリコストを18ドル以上削減し、24GBのGPUでLlama-2-13BとStable Diffusion 3.5を微調整できる。
  論文  参考訳（メタデータ） (2025-05-19T17:55:15Z)
• A quantum gradient descent algorithm for optimizing Gaussian Process models [28.16587217223671]
  ガウス過程モデルを最適化するための量子勾配降下アルゴリズムを提案する。 本アルゴリズムは,ログ限界確率の勾配の計算において指数的高速化を実現する。
  論文  参考訳（メタデータ） (2025-03-22T14:14:31Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Tensor-GaLore: Memory-Efficient Training via Gradient Tensor Decomposition [93.98343072306619]
  本研究では,高次テンソル重み付きニューラルネットワークの効率的なトレーニング手法であるNavier-GaLoreを提案する。 様々なPDEタスクの中で、Navier-GaLoreはメモリ節約を実現し、最大75%のメモリ使用量を削減している。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Mera: Memory Reduction and Acceleration for Quantum Circuit Simulation via Redundancy Exploration [4.271968023823568]
  メモリ使用量の削減とシミュレーションの高速化を目的として,マルチレベル最適化,すなわちMeraを提案する。 多数のスパース量子ゲートに対して、低レベルフルステートシミュレーションのための2つの圧縮された構造を提案する。 実験により, 圧縮された構造では量子ビット数が17から35に増加し, QNNの6.9倍の加速が達成された。
  論文  参考訳（メタデータ） (2024-11-22T20:07:31Z)
• LiVOS: Light Video Object Segmentation with Gated Linear Matching [116.58237547253935]
  LiVOSはリニアアテンションによるリニアマッチングを利用する軽量メモリネットワークである。 長くて高解像度のビデオでは、STMベースのメソッドと53%のGPUメモリで一致し、32Gの消費者向けGPU上で4096pの推論をサポートする。
  論文  参考訳（メタデータ） (2024-11-05T05:36:17Z)
• Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores [3.6385567224218556]
  大規模言語モデル(LLM)は広く応用されているが、効率的な推論では課題に直面している。 本稿では、並列計算を容易にし、対称量子化をサポートする新しいバイポーラ-INTデータフォーマットを提案する。 ビットレベルで分解・復元する任意の精度行列乗算方式を実装し,フレキシブルな精度を実現する。
  論文  参考訳（メタデータ） (2024-09-26T14:17:58Z)
• Q-GaLore: Quantized GaLore with INT4 Projection and Layer-Adaptive Low-Rank Gradients [86.40635601953446]
  量子化と低ランク投影を組み合わせることでメモリ使用量を大幅に削減する新しい手法であるQ-Galoreを導入する。 本稿では,Q-Galoreがメモリ効率に優れた競合性能を実現することを実証する。
  論文  参考訳（メタデータ） (2024-07-11T08:42:58Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Optimal control of large quantum systems: assessing memory and runtime performance of GRAPE [0.0]
  GRAPEは量子最適制御において一般的な手法であり、自動微分と組み合わせることができる。 多数の状態とプロパゲータの累積保存により,ADの利便性が著しく向上することを示す。 本稿では,プロパゲータストレージを完全に回避し,メモリ要求を大幅に低減するスキームにおいて,ハードコーディンググラデーションの戦略を再考する。
  論文  参考訳（メタデータ） (2023-04-13T00:24:40Z)
• Memory-Efficient Differentiable Programming for Quantum Optimal Control of Discrete Lattices [1.5012666537539614]
  量子最適制御問題は通常、GRAPEのような勾配に基づくアルゴリズムによって解決される。 QOCは、メモリ要件が大きなモデルや長時間のスパンをシミュレートする障壁であることを明らかにした。 我々は、適切な再計算コストでメモリ要求を大幅に削減する、非標準微分可能プログラミングアプローチを採用している。
  論文  参考訳（メタデータ） (2022-10-15T20:59:23Z)
• Memory Safe Computations with XLA Compiler [14.510796427699459]
  XLAコンパイラ拡張は、ユーザーが指定したメモリ制限に従ってアルゴリズムの表現を調整する。 我々は,k-アネレスト近傍およびスパースガウス過程回帰法が単一デバイス上ではるかに大きなスケールで実行可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-28T16:59:28Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。