論文の概要: Low-rank adaptive physics-informed HyperDeepONets for solving differential equations

• arxiv url: http://arxiv.org/abs/2507.18346v1
• Date: Thu, 24 Jul 2025 12:19:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.623323
• Title: Low-rank adaptive physics-informed HyperDeepONets for solving differential equations
• Title（参考訳）: 低ランク適応物理インフォームドハイパーDeepONetsによる微分方程式の解法
• Authors: Etienne Zeudong, Elsa Cardoso-Bihlo, Alex Bihlo,
• Abstract要約: HyperDeepONetsは演算子学習の代替アーキテクチャとしてLee、Cho、Hwangで導入された。 PI-LoRA-HyperDeepONetsは低ランク適応(LoRA)を利用して、ハイパーネットワークの出力層重み行列を2つのより小さな低ランク行列に分解することで複雑さを低減する。 PI-LoRA-HyperDeepONetsはパラメータの最大70%の削減を実現し、予測精度と一般化の点で通常のHyperDeepONetsより一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: HyperDeepONets were introduced in Lee, Cho and Hwang [ICLR, 2023] as an alternative architecture for operator learning, in which a hypernetwork generates the weights for the trunk net of a DeepONet. While this improves expressivity, it incurs high memory and computational costs due to the large number of output parameters required. In this work we introduce, in the physics-informed machine learning setting, a variation, PI-LoRA-HyperDeepONets, which leverage low-rank adaptation (LoRA) to reduce complexity by decomposing the hypernetwork's output layer weight matrix into two smaller low-rank matrices. This reduces the number of trainable parameters while introducing an extra regularization of the trunk networks' weights. Through extensive experiments on both ordinary and partial differential equations we show that PI-LoRA-HyperDeepONets achieve up to 70\% reduction in parameters and consistently outperform regular HyperDeepONets in terms of predictive accuracy and generalization.
• Abstract（参考訳）: ハイパーネットワークがDeepONetのトランクネットの重みを生成する演算子学習の代替アーキテクチャとして,Lee, Cho, Hwang [ICLR, 2023] で導入された。 これにより表現性が向上するが、大量の出力パラメータを必要とするため、高いメモリと計算コストが発生する。 本研究では,低ランク適応(LoRA)を活用し,ハイパーネットワークの出力層重み行列を2つのより小さな低ランク行列に分解することで,複雑性を低減できるPI-LoRA-HyperDeepONetsを提案する。 これにより、トランクネットワークの重み付けを余分に正規化しながら、トレーニング可能なパラメータの数を減らすことができる。 常微分方程式と偏微分方程式の両方に関する広範な実験により、PI-LoRA-HyperDeepONetsはパラメータの最大70%の削減を実現し、予測精度と一般化の点で通常のHyperDeepONetsを一貫して上回ることを示す。

関連論文リスト

• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• RandONet: Shallow-Networks with Random Projections for learning linear and nonlinear operators [0.0]
  ランダムプロジェクションに基づく演算子ネットワーク(RandONets)を提案する。 ランダムネット(RandONets)は、線形および非線形作用素を学習するランダムプロジェクションを持つ浅いネットワークである。 このタスクにおいて、RandONetsは数値近似の精度と計算コストの両面で、バニラ"DeepOnetsよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-08T13:20:48Z)
• Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation [12.07880147193174]
  モデルパラメータ内のデータと圧縮可能な力学の固有な低次元構造を利用することで、計算負担を伴わずにパラメータ化の利点を享受できることが示される。 提案手法は,低ランク行列と微調整言語モデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T14:29:49Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• HyperDeepONet: learning operator with complex target function space using the limited resources via hypernetwork [14.93012615797081]
  本研究では,ハイパーネットワークの表現力を利用して,より少ないパラメータ集合を持つ複素演算子の学習を可能にするHyperDeepONetを提案する。 We analyze the complexity of DeepONet and conclusion that HyperDeepONet requires relatively less complexity to obtained the desired accuracy for operator learning。
  論文  参考訳（メタデータ） (2023-12-26T08:28:46Z)
• Efficient Compression of Overparameterized Deep Models through Low-Dimensional Learning Dynamics [10.673414267895355]
  本稿ではパラメータ化モデルを用いた新しい圧縮手法を提案する。 本アルゴリズムは, 一般化を損なうことなく, トレーニング効率を2倍以上に向上させる。
  論文  参考訳（メタデータ） (2023-11-08T23:57:03Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and Scaling Limit [48.291961660957384]
  我々は,畳み込み型ResNetやVision Transformersなどの残余アーキテクチャが,幅と深さにまたがる最適なハイパーパラメータの転送を示すことを示す実験を行った。 ニューラルネットワーク学習力学の動的平均場理論(DMFT)記述の最近の発展から、このResNetsのパラメータ化は、無限幅および無限深度制限で明確に定義された特徴学習を許容することを示す。
  論文  参考訳（メタデータ） (2023-09-28T17:20:50Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Towards Size-Independent Generalization Bounds for Deep Operator Nets [0.28123958518740544]
  本研究は,DeepONetsのトレーニング中にサンプル外誤差を測定する理論を推し進めることを目的としている。 DeepONets のクラスでは、関係するネットの幅と明示的にスケールしない Rademacher の複雑性に制限があることを証明します。 We show how the Huber loss can be chosen to for these DeepONet class generalization error bounds can be obtained that have no explicit dependencies to the size of the nets。
  論文  参考訳（メタデータ） (2022-05-23T14:45:34Z)
• Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks [82.18396309806577]
  動的デュアル・トレーニング・バウンダリ(DDTB)と呼ばれる新しいアクティベーション・量子化器を提案する。 DDTBは超低精度で優れた性能を示した。 例えば、我々のDDTBは、EDSRを2ビットに量子化し、出力画像をx4にスケールアップする場合、Urban100ベンチマークで0.70dBのPSNRアップを達成する。
  論文  参考訳（メタデータ） (2022-03-08T04:26:18Z)
• Hyperparameter Tuning is All You Need for LISTA [92.7008234085887]
  Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)は、反復アルゴリズムをアンロールしてニューラルネットワークのようにトレーニングするという概念を導入している。 LISTAネットワークの中間変数に運動量を加えることで、より優れた収束率が得られることを示す。 この超軽量ネットワークをHyperLISTAと呼ぶ。
  論文  参考訳（メタデータ） (2021-10-29T16:35:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。