論文の概要: Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach

• arxiv url: http://arxiv.org/abs/2602.03297v1
• Date: Tue, 03 Feb 2026 09:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.356147
• Title: Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
• Title（参考訳）: Lipschitz Multiscale Deep Equilibrium Models:理論的に保証され、加速されたアプローチ
• Authors: Naoki Sato, Hideaki Iiduka,
• Abstract要約: ディープ均衡モデル(DEQ)は、ニューラルネットワークにおける層変換の固定点を探索することによって、層を積み重ねることなく無限に深いネットワーク表現を実現する。 DEQは、従来の方法よりも、トレーニングと推論にはるかに多くの計算時間を必要とするという課題に直面している。 本研究では,固定点収束を改良し,計算時間を短縮する手法について検討した。
• 参考スコア（独自算出の注目度）: 10.914558012458423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep equilibrium models (DEQs) achieve infinitely deep network representations without stacking layers by exploring fixed points of layer transformations in neural networks. Such models constitute an innovative approach that achieves performance comparable to state-of-the-art methods in many large-scale numerical experiments, despite requiring significantly less memory. However, DEQs face the challenge of requiring vastly more computational time for training and inference than conventional methods, as they repeatedly perform fixed-point iterations with no convergence guarantee upon each input. Therefore, this study explored an approach to improve fixed-point convergence and consequently reduce computational time by restructuring the model architecture to guarantee fixed-point convergence. Our proposed approach for image classification, Lipschitz multiscale DEQ, has theoretically guaranteed fixed-point convergence for both forward and backward passes by hyperparameter adjustment, achieving up to a 4.75$\times$ speed-up in numerical experiments on CIFAR-10 at the cost of a minor drop in accuracy.
• Abstract（参考訳）: ディープ均衡モデル(DEQ)は、ニューラルネットワークにおける層変換の固定点を探索することによって、層を積み重ねることなく無限に深いネットワーク表現を実現する。 このようなモデルは、メモリが大幅に少ないにもかかわらず、多くの大規模数値実験において最先端の手法に匹敵する性能を達成する革新的な手法である。 しかし、DECは、各入力に対して収束保証のない固定点反復を繰り返し実行するため、従来の方法よりも、トレーニングと推論にはるかに多くの計算時間を必要とするという課題に直面している。 そこで本研究では,固定点収束を保証するためにモデルアーキテクチャを再構築することにより,固定点収束を改善し,計算時間を短縮する手法について検討した。 画像分類のための提案手法であるLipschitz multiscale DEQは,高パラメータ調整により前方・後方双方の定点収束を理論的に保証し,CIFAR-10の数値実験において,精度の低下を犠牲にして最大4.75$\times$の高速化を実現した。

関連論文リスト

• Multigrade Neural Network Approximation [13.496991650323038]
  深層ニューラルネットワークにおける構造的誤り改善のための基本的枠組みを開発する。 任意の連続的対象関数に対して、固定幅ブロックの多重グレード $textttRe$LU が存在し、その残差はグレードによって減少し、一様収束することを示す。
  論文  参考訳（メタデータ） (2026-01-23T16:46:25Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• FIMA-Q: Post-Training Quantization for Vision Transformers by Fisher Information Matrix Approximation [55.12070409045766]
  ポストトレーニング量子化(PTQ)は近年,費用対効果と有望なモデル圧縮パラダイムとして注目されている。 ビジョン変換器(ViT)の現在のPTQ法は、特に低ビット量子化において、精度が著しく低下している。
  論文  参考訳（メタデータ） (2025-06-13T07:57:38Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。 これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。 様々な最先端の繰り返しに比べて優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。