論文の概要: An autoencoder compression approach for accelerating large-scale inverse problems

• arxiv url: http://arxiv.org/abs/2304.04781v1
• Date: Mon, 10 Apr 2023 17:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 17:12:22.632046
• Title: An autoencoder compression approach for accelerating large-scale inverse problems
• Title（参考訳）: 大規模逆問題に対するオートエンコーダ圧縮法
• Authors: Jonathan Wittmer, Jacob Badger, Hari Sundar, Tan Bui-Thanh
• Abstract要約: 本稿では,自動エンコーダを用いた拡張性のある圧縮手法を提案する。 我々は,地球規模の不測地震逆問題に対するチェックポインティングとオフザシェルフ圧縮手法との比較を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: PDE-constrained inverse problems are some of the most challenging and computationally demanding problems in computational science today. Fine meshes that are required to accurately compute the PDE solution introduce an enormous number of parameters and require large scale computing resources such as more processors and more memory to solve such systems in a reasonable time. For inverse problems constrained by time dependent PDEs, the adjoint method that is often employed to efficiently compute gradients and higher order derivatives requires solving a time-reversed, so-called adjoint PDE that depends on the forward PDE solution at each timestep. This necessitates the storage of a high dimensional forward solution vector at every timestep. Such a procedure quickly exhausts the available memory resources. Several approaches that trade additional computation for reduced memory footprint have been proposed to mitigate the memory bottleneck, including checkpointing and compression strategies. In this work, we propose a close-to-ideal scalable compression approach using autoencoders to eliminate the need for checkpointing and substantial memory storage, thereby reducing both the time-to-solution and memory requirements. We compare our approach with checkpointing and an off-the-shelf compression approach on an earth-scale ill-posed seismic inverse problem. The results verify the expected close-to-ideal speedup for both the gradient and Hessian-vector product using the proposed autoencoder compression approach. To highlight the usefulness of the proposed approach, we combine the autoencoder compression with the data-informed active subspace (DIAS) prior to show how the DIAS method can be affordably extended to large scale problems without the need of checkpointing and large memory.
• Abstract（参考訳）: PDE制約の逆問題は今日の計算科学において最も困難で計算に要求される問題の一つである。 PDEソリューションを正確に計算するために要求される微細メッシュは、膨大な数のパラメータを導入し、適切な時間でそのようなシステムを解決するためには、より多くのプロセッサやメモリなどの大規模コンピューティングリソースを必要とする。 時間依存PDEによって制約される逆問題に対して、勾配や高次微分を効率的に計算するためにしばしば用いられる随伴法は、各時間ステップで前方PDE解に依存する、時間反転されたいわゆる随伴PDEを解く必要がある。 これにより、時間ステップごとに高次元の前方解ベクトルの保存が必要となる。 このような手順はすぐに利用可能なメモリ資源を消費する。 メモリフットプリント削減のための追加計算を交換するいくつかのアプローチが、チェックポイントや圧縮戦略を含むメモリボトルネックを軽減するために提案されている。 本稿では,自動エンコーダを用いて,チェックポイントと実質的なメモリストレージの必要性をなくし,解決までの時間とメモリ要求の両方を削減した,近距離から理想までのスケーラブルな圧縮手法を提案する。 我々は,地球規模の不測地震逆問題に対するチェックポインティングとオフザシェルフ圧縮手法との比較を行った。 提案したオートエンコーダ圧縮手法を用いて,勾配およびヘシアンベクトル積の近似速度を推定した。 提案手法の有用性を明らかにするため,データインフォームド・アクティブ・サブスペース(DIAS)とオートエンコーダ圧縮を組み合わせることで,チェックポイントや大容量メモリを必要とせずにDIAS法を大規模に拡張できることを示す。

関連論文リスト

• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference [1.0919012968294923]
  本稿では,頭部の疎度を用いてトランスフォーマーを高速化し,疎度をブロックし,注意の計算を減らし,メモリアクセスを減らし,新しいアルゴリズムアーキテクチャの共設計手法を提案する。 注目スコアと注目ヘッドの巨大な冗長性を観測し、実行時に注目行列内の重要でないブロックをプルーする整数ベースの行平衡ブロックプルーニングを提案する。 また、実行時に重要でないヘッドを検出およびプルーする整数ベースのヘッドプルーニングを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:15:16Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• CROM: Continuous Reduced-Order Modeling of PDEs Using Implicit Neural Representations [5.551136447769071]
  高忠実度偏微分方程式ソルバの過剰実行は、時間クリティカルな応用には適さない。 我々は低次モデリング(ROM)を用いたPDEソルバの高速化を提案する。 我々のアプローチは、その離散化ではなく、連続ベクトル場自体の滑らかで低次元多様体を構築する。
  論文  参考訳（メタデータ） (2022-06-06T13:27:21Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Distributed Learning and Democratic Embeddings: Polynomial-Time Source Coding Schemes Can Achieve Minimax Lower Bounds for Distributed Gradient Descent under Communication Constraints [46.17631511884969]
  我々は、n次元ユークリッド空間においてベクトルを圧縮する問題を考える。 数値化器の被覆効率が次元独立であるか、あるいは非常に弱い対数依存であるという意味では、民主主義的および民主的に近いソースコーディングスキームが(ほぼ)最適であることを示す。 分散最適化アルゴリズムDGD-DEFを提案する。このアルゴリズムは,提案した符号化戦略を用いて,(ほぼ)定数要素内における最小収束率を実現する。
  論文  参考訳（メタデータ） (2021-03-13T00:04:11Z)
• Non-intrusive surrogate modeling for parametrized time-dependent PDEs using convolutional autoencoders [0.0]
  パラメータ化時間依存PDEによる複雑系の予測モデリングのための機械学習に基づく非侵襲的代理モデリング手法を提案する。 我々は、畳み込みオートエンコーダをフィードフォワードニューラルネットワークと組み合わせて、問題のパラメトリック空間から解空間への低コストで正確なマッピングを確立する。
  論文  参考訳（メタデータ） (2021-01-14T11:34:58Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。