論文の概要: Response Renormalization for Critical Deep Equilibrium Models

• arxiv url: http://arxiv.org/abs/2608.23725v1
• Date: Mon, 24 Aug 2026 18:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.50504
• Title: Response Renormalization for Critical Deep Equilibrium Models
• Title（参考訳）: 臨界深度平衡モデルの応答再正規化
• Abstract要約: 暗黙の微分による訓練は、残留ヤコビアンから構築された随伴系を解く必要がある。 本稿では,非持ち上げ応答チャネルをそのまま残しながら,選択したニアポールディノミネータを持ち上げるバックワードパスフレームワークであるResponse Renormalizationを導入する。 我々は、密度と行列のない集合的定式化を導き、改良された凍結アンカー残基と後方応答サロゲートとの正確な勾配を区別し、構造的インプリシット層とベクトルトラクターに構造を拡張した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Equilibrium Models (DEQs) compute predictions from a hidden representation unchanged by the model update. Training through this equilibrium uses implicit differentiation and requires solving an adjoint system built from the residual Jacobian. If this Jacobian is nearly singular along loss-sensitive directions, small perturbations can be strongly amplified in the adjoint response, producing large, highly sensitive gradients that can make optimization unreliable. We introduce Response Renormalization, a backward-pass framework that lifts selected near-pole denominators while leaving unlifted response channels unchanged. Collective Mode Response Renormalization (CMR) applies this correction in a low-dimensional critical subspace, while Phi-adaptive CMR computes a bounded response mass from a positive susceptibility rule. We derive dense and matrix-free collective formulations, distinguish exact gradients of a modified frozen-anchor residual from backward-response surrogates, and extend the construction to Structured Implicit Layers and Vector Attractors (SILVA). Across 23 multiphysics families spanning partial differential equations, three-dimensional fields, operator maps, complex geometries, and particle systems, CMR and Phi-CMR yield test errors no more than five percent higher than those from models trained with exact implicit differentiation in more than 98% of static and 95% of transient family-seed comparisons. Solver-index experiments show convergence toward the static adjoint, while physical-time rollouts retain predictive fidelity under the evaluated conditions. These results demonstrate that selective response renormalization can control near-critical adjoint amplification without globally damping well-conditioned sensitivity. Therefore, the method can make parameter updates more reliable while preserving the useful gradient information needed for learning.
• Abstract（参考訳）: 深層平衡モデル(Deep Equilibrium Models, DEQ)は、モデル更新によって変化しない隠された表現からの予測を計算する。 この平衡を通した訓練は暗黙の微分を使い、残留ヤコビアンから構築された随伴系を解く必要がある。 もしこのヤコビアンが損失感受性方向にほぼ特異であれば、小さな摂動は随伴反応において強く増幅され、大きな高感度勾配が生じるので、最適化は信頼できない。 本稿では,非持ち上げ応答チャネルをそのまま残しながら,選択したニアポールディノミネータを持ち上げるバックワードパスフレームワークであるResponse Renormalizationを導入する。 集合モード応答再正規化(CMR)はこの補正を低次元臨界部分空間に適用し、Phi適応CMRは正の感受性規則から有界応答質量を計算する。 我々は、密度と行列のない集合的定式化を導き、改良された凍結アンカー残基と後方応答サロゲートとの正確な勾配を区別し、構造的インプリシット層とベクトルトラクター(SILVA)に構造を拡張した。 偏微分方程式, 3次元場, 演算子マップ, 複素測地, および粒子系にまたがる23種類の多物理系では, CMRおよびPhi-CMRの収差は, 98%以上と過渡的な家系種比較の95%以上において, 正の暗黙差で訓練されたモデルより5%以上高い。 ソルバー・インデックス実験は静的随伴点への収束を示し、物理時間ロールアウトは評価条件下で予測忠実性を保持する。 これらの結果から, 選択的応答再正規化は, 十分に調和した感度を大域的に低下させることなく, 近接臨界随伴増幅を制御できることが示唆された。 そこで本手法は,学習に必要な勾配情報を保持しつつ,パラメータ更新をより信頼性の高いものにすることができる。

関連論文リスト

• Phase Transition in Binary Compressed Sensing via Annealing with Adaptive Regularization [0.7734726150561088]
  正規化選択は、バイナリ圧縮センシングの回復相図を変更する。 本研究では,系統的なパラメータ探索とランダムな森林回帰を組み合わせた正規化-選択法を開発した。
  論文  参考訳（メタデータ） (2026-09-15T06:35:58Z)
• Sensitivity-Constrained Neural Operators for Data-Efficient Forward and Inverse Modeling of Partial Differential Equation Systems [7.72071408793585]
  感度拘束型ニューラル演算子(SC-NOs)の研究 SC-NOs Augment Standard Training withsolvr- derived Jacobian supervision。 我々は, 対流拡散およびRANS--Spalart--Allmarasベンチマーク, 入力次元スケーリング試験, 長距離自己回帰ロールアウト, 浅海域東北津波震源反転事例についてSC-NOsの評価を行った。
  論文  参考訳（メタデータ） (2026-08-30T16:37:25Z)
• Effective Covariance Dynamics in Solvable High-Dimensional GANs [2.639628765667673]
  線形生成器がデータから低次元部分空間を学習するGANトレーニングの可解な高次元モデルについて検討する。 顕微鏡トレーニングプロセスが高次元の極限において、この効果的な共分散によって支配される決定論的常微分方程式に収束することを証明する。
  論文  参考訳（メタデータ） (2026-06-25T16:33:54Z)
• Coverage Analysis of Rydberg Atom Quantum Receiver Arrays: A Stochastic Geometry Approach [55.47164192369501]
  ライドバーグ原子量子受信機(RAQR)は、量子制限感度とブロードバンドチューナビリティを提供する。 密集した展開において、集合的干渉は原子トランスデューサを小さな信号状態から外すことができる。 本稿では、RAQRフロントエンドを幾何学的カバレッジ分析に埋め込むことで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-05-22T04:05:13Z)
• Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
  MRI再建は本質的に不完全な逆問題である。 この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。 提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
  論文  参考訳（メタデータ） (2026-05-19T04:40:50Z)
• EquiReg: Equivariance Regularized Diffusion for Inverse Problems [67.01847869495558]
  拡散に基づく逆問題解法における後方サンプリングを正規化するためのフレームワークであるEquiReg拡散法を提案する。 様々な解法に適用すると、EquiRegは線形および非線形画像復元タスクにおいて最先端の拡散モデルより優れる。
  論文  参考訳（メタデータ） (2025-05-29T01:25:43Z)
• Rao-Blackwell Gradient Estimators for Equivariant Denoising Diffusion [55.95767828747407]
  分子やタンパク質の生成のようなドメインでは、物理系はモデルにとって重要な固有の対称性を示す。 学習のばらつきを低減し、確率的に低い分散勾配推定器を提供するフレームワークを提案する。 また,軌道拡散法(Orbit Diffusion)と呼ばれる手法を用いて,損失とサンプリングの手順を取り入れた推定器の実用的実装を提案する。
  論文  参考訳（メタデータ） (2025-02-14T03:26:57Z)
• Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias [8.668428992331808]
  我々は,線形逆問題に対処する際,カーネルリッジ(レス)回帰のためのソボレフノルム学習曲線を開発した。 この結果から, 逆問題におけるPDE演算子は分散を安定化し, 固定次元問題に対して良性オーバーフィッティングを行うことが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-06-13T14:54:30Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。