論文の概要: Certified Inference and Training for Deep Equilibrium Networks: A Continuation Framework with Polynomial Complexity Guarantees
- arxiv url: http://arxiv.org/abs/2609.16485v2
- Date: Sun, 20 Sep 2026 21:25:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:28:59.820874
- Title: Certified Inference and Training for Deep Equilibrium Networks: A Continuation Framework with Polynomial Complexity Guarantees
- Title(参考訳): 深部平衡ネットワークのための認証推論とトレーニング:多項複雑度保証付き継続フレームワーク
- Abstract要約: 我々は、Deep equilibrium Network(DEQ)における推論とトレーニングのための認定された継続フレームワークを開発する。
推論のために、入力ホモトピーは供給された開始根から平衡を選択し、丸いトラッカーが定量的条件下でそれに従う。
訓練のために、プログラム可能な休眠可能な双線形ランクワンチャネルは、出力保存された残留整列修復を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop a certified continuation framework for inference and training in deep equilibrium networks (DEQs), with training posed as interpolation to accuracy $2^{-b}$. For inference, input homotopy selects an equilibrium branch from a supplied start root, and a rounded tracker follows it under quantitative conditioning, derivative, boundary, and tube-radius certificates. The framework includes structured factorized certificates, sequential block elimination, inheritance of contraction guarantees in adapted coordinates, and bordered continuation through simple folds. For smooth multidimensional DEQs, including tanh networks, rational local tests can construct and validate oriented continuation charts under explicit geometric promises. For training, programmable dormant bilinear rank-one channels provide output-preserving residual-aligned repairs. Loaded Tikhonov solves diagnose insufficient parameter-to-output directions, while certified gate realization, column stability, well-posed inference, and finite-update error budgets control each pass. Under polynomially bounded certificate, encoding, precision, and backend costs, both inference and training have bit complexity $O(\mathrm{poly}(L+b))$, where $L$ is the encoded instance length; training uses $O(b+\ell)$ passes and reserve channels from an initial residual bounded by $2^\ell$. A budgeted implementation returns either certified success or inconclusive termination. The quantitative core and local certificate machinery are machine-checked in Lean 4, while numerical experiments illustrate the training mechanism.
- Abstract(参考訳): 本研究では,Deep equilibrium Network (DEQ) における推論とトレーニングのための認証された継続フレームワークを開発し,精度2^{-b}$の補間を行う。
推論のために、入力ホモトピーは供給された開始根から平衡分岐を選択し、丸いトラッカーは定量的条件付け、微分、境界、管半径証明の下でそれに従う。
このフレームワークは構造化された因子化証明書、逐次ブロック除去、適応座標における収縮保証の継承、単純な折り畳みによる境界付き継続を含む。
タンハネットワークを含む滑らかな多次元DECでは、有理局所テストは明示的な幾何学的約束の下で向き付けられた連続チャートを構築し、検証することができる。
訓練のために、プログラム可能な休眠可能な双線形ランクワンチャネルは、出力保存された残留整列修復を提供する。
負荷されたTikhonovは不十分なパラメータと出力の方向を診断すると同時に、認証されたゲートの実現、カラムの安定性、よく推測された推論、および有限更新エラー予算が各パスを制御する。
多項式境界証明書の下では、エンコーディング、精度、バックエンドコストにおいて、推論とトレーニングの両方がビット複雑性を持つ。$O(\mathrm{poly}(L+b))$, where $L$ is the encoded instance length; training using $O(b+\ell)$ pass and Reserve channel from a initial residual bounded by $2^\ell$。
予算化された実装は、認定された成功または決定的な終了を返します。
定量的コアとローカル証明書のメカニズムはLean 4でマシンチェックされ、数値実験ではトレーニングメカニズムが説明されています。
関連論文リスト
- HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。
既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。
非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
論文 参考訳(メタデータ) (2026-09-01T18:02:02Z) - Information-Calibrated Quantum Diffusion: Aligning Forward Noise with Reverse Recoverability [10.481986290704821]
古典量子情報デクリメント $_t=I(X:Q_t-1)-I(X:Q_t) を固有拡散座標として導入する。
偏極化とともに$_t$が等しくなると、前方情報損失の唯一の最小値の離散化が得られる。
論文 参考訳(メタデータ) (2026-08-14T08:44:51Z) - Finite Constant Frontiers and Auditable Regret Certificates for Average-Reward Reinforcement Learning [0.9558392439655014]
定数対応比較プロトコルを導入し、MPPを通信するための明示的な有限下位証明書を導出する。
共通閉形式エンベロープは有限フロンティアで発行された係数を0.015$に改善する。
論文 参考訳(メタデータ) (2026-08-07T19:28:58Z) - Quantum Tunneling-Aware Machine Learning: Physics-Derived Noise Models for Robust Deployment [5.373588450790602]
量子トンネル対応機械学習(QTAML)を紹介する。
We derived the deployment-time weight-error distribution from first principles using the Wentzel-Kramers-Brillouin (WKB) approximation。
我々は,これらの構造特性を単一配置時アルゴリズムであるTunning-Aware Compensation (TAC) にパッケージ化し,閉形式平均補正と最適層予算配分を組み合わせた。
論文 参考訳(メタデータ) (2026-05-30T14:21:16Z) - Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。
Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。
多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
論文 参考訳(メタデータ) (2026-05-27T15:17:06Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳(メタデータ) (2026-05-14T20:27:32Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。
すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
論文 参考訳(メタデータ) (2026-01-31T02:57:01Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - Distributional Reinforcement Learning with Dual Expectile-Quantile Regression [51.87411935256015]
分布RLに対する量子レグレッションアプローチは、任意の戻り分布を柔軟かつ効果的に学習する方法を提供する。
我々は,分布推定が消失することを示し,推定分布が急速に平均に崩壊することを実証的に観察した。
我々は,$L$の学習効率に感化され,効率のよい学習方法として,返却分布の期待値と量子値を共同で学習することを提案する。
論文 参考訳(メタデータ) (2023-05-26T12:30:05Z) - Training \beta-VAE by Aggregating a Learned Gaussian Posterior with a
Decoupled Decoder [0.553073476964056]
VAEトレーニングの現在の実践は、しばしば、再構成の忠実さと、潜伏空間の連続性$/$$分散の間のトレードオフをもたらす。
本稿では,2つの損失の対角的機構の直観と注意深い解析を行い,VAEを訓練するための簡易で効果的な2段階法を提案する。
本手法は, 3次元頭蓋骨再建と形状完成を目的とした医療データセットを用いて評価し, 提案手法を用いてトレーニングしたVAEの有望な生成能力を示す。
論文 参考訳(メタデータ) (2022-09-29T13:49:57Z) - The Fundamental Price of Secure Aggregation in Differentially Private
Federated Learning [34.630300910399036]
我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。
我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。
これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
論文 参考訳(メタデータ) (2022-03-07T22:56:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。