論文の概要: Consistency Deep Equilibrium Models

• arxiv url: http://arxiv.org/abs/2602.03024v1
• Date: Tue, 03 Feb 2026 02:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.202273
• Title: Consistency Deep Equilibrium Models
• Title（参考訳）: 一貫性深部平衡モデル
• Authors: Junchao Lin, Zenan Ling, Jingwen Xu, Robert C. Qiu,
• Abstract要約: ディープラーニングにおける強力なパラダイムとして、Deep Equilibrium Models (DEQ)が登場している。 DEQは、固定点ソルバの反復性により、大きな推論遅延を引き起こす。 我々は、DEC推論を高速化するために、一貫性深度平衡モデル(C-DEQ)を導入する。
• 参考スコア（独自算出の注目度）: 8.278751626877431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Equilibrium Models (DEQs) have emerged as a powerful paradigm in deep learning, offering the ability to model infinite-depth networks with constant memory usage. However, DEQs incur significant inference latency due to the iterative nature of fixed-point solvers. In this work, we introduce the Consistency Deep Equilibrium Model (C-DEQ), a novel framework that leverages consistency distillation to accelerate DEQ inference. We cast the DEQ iterative inference process as evolution along a fixed ODE trajectory toward the equilibrium. Along this trajectory, we train C-DEQs to consistently map intermediate states directly to the fixed point, enabling few-step inference while preserving the performance of the teacher DEQ. At the same time, it facilitates multi-step evaluation to flexibly trade computation for performance gains. Extensive experiments across various domain tasks demonstrate that C-DEQs achieves consistent 2-20$\times$ accuracy improvements over implicit DEQs under the same few-step inference budget.
• Abstract（参考訳）: 深層平衡モデル(Deep Equilibrium Models, DEQ)は、ディープラーニングにおいて強力なパラダイムとして登場し、一定のメモリ使用量で無限深度ネットワークをモデル化する機能を提供する。 しかし、DECは固定点ソルバの反復性により、大きな推論遅延を生じさせる。 本稿では,DEC推論の高速化に一貫性蒸留を利用する新しいフレームワークであるConsistency Deep Equilibrium Model (C-DEQ)を紹介する。 我々は、DEC反復推論過程を、平衡に向かって固定されたODE軌道に沿って進化させた。 この軌道に沿って、私たちはC-DEQを訓練し、中間状態を一定点に一貫したマッピングを行い、教師のDEQの性能を維持しながら数ステップの推論を可能にします。 同時に、マルチステップ評価を容易にし、パフォーマンス向上のために柔軟に計算を交換する。 様々なドメインタスクにわたる大規模な実験により、C-DEQは同じ数ステップの推論予算の下で暗黙のDEQよりも一貫性のある2-20$\times$精度の改善が達成された。

関連論文リスト

• Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach [10.914558012458423]
  ディープ均衡モデル(DEQ)は、ニューラルネットワークにおける層変換の固定点を探索することによって、層を積み重ねることなく無限に深いネットワーク表現を実現する。 DEQは、従来の方法よりも、トレーニングと推論にはるかに多くの計算時間を必要とするという課題に直面している。 本研究では,固定点収束を改良し,計算時間を短縮する手法について検討した。
  論文  参考訳（メタデータ） (2026-02-03T09:22:56Z)
• GB-DQN: Gradient Boosted DQN Models for Non-stationary Reinforcement Learning [0.0]
  逐次残差学習によるモデルドリフトに対応する適応型アンサンブル法であるemphGradient-Boosted Deep Q-Networks (GB-DQN)を提案する。 GB-DQNは、単一のQ-ネットワークを再訓練する代わりに、新たな学習者がドリフト後の現在のアンサンブルのベルマン残差を近似するように訓練された付加的なアンサンブルを構築する。
  論文  参考訳（メタデータ） (2025-12-18T19:53:50Z)
• Universal Approximation Theorem of Deep Q-Networks [2.1756081703276]
  我々は制御とFBSDE(Forward-Backward Differential Equations)を通してDeep Q-Networks(DQN)の分析を行う。 DQN は任意の精度と高い確率でコンパクト集合上の最適Q-函数を近似できることを示す。 この作業は、深い強化学習とコントロールをブリッジし、継続的設定でDQNに関する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-04T22:57:33Z)
• DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows [13.420336353905675]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、ニューラルネットワークの前方通過における固定点を解決する暗黙のニューラルネットワークのクラスである。 本稿では,DDEQを集合や点雲などの離散的な測度入力に拡張する分散Deep Equilibrium Models(DDEQ)を提案する。 実験では、ポイントクラウド分類やポイントクラウド補完といったタスクにおいて、最先端のモデルと競合できることを示す。
  論文  参考訳（メタデータ） (2025-03-03T03:48:14Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。