論文の概要: Q-DEQ: Discrete Solving and Quantization for Deep Equilibrium Models in Time Series Forecasting under Edge Deployment Coding Constraints
- arxiv url: http://arxiv.org/abs/2609.24042v1
- Date: Mon, 21 Sep 2026 03:16:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.046119
- Title: Q-DEQ: Discrete Solving and Quantization for Deep Equilibrium Models in Time Series Forecasting under Edge Deployment Coding Constraints
- Title（参考訳）: Q-DEQ:エッジ展開符号化制約下における時系列予測における深部平衡モデルの離散解法と量子化
- Abstract要約: エッジデプロイメントは、コンパクトなパラメータストレージと低ビット表現を備えた予測モデルを動機付けている。
本稿では、離散最適化問題としてDECの局所的な更新を定式化するQ-DEQを提案する。
5つの時系列予測データセット上でiTransformerのバックボーンを用いたQ-DEQを評価する。
- 参考スコア（独自算出の注目度）: 4.095612503951238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Edge deployment motivates forecasting models with compact parameter storage and low-bit representations. Deep equilibrium models (DEQs) obtain implicit depth by repeatedly applying a shared layer, reducing the parameter cost of explicit layer stacking. Their usual Anderson solver, however, searches for update coefficients in the continuous real domain. We propose Q-DEQ, which formulates local updates in DEQ forward solving as discrete optimization problems. Candidate directions are constructed from the current state and iteration history, and a local quadratic residual model is used to evaluate their combinations. Binary encoding of the direction coefficients yields a quadratic unconstrained binary optimization (QUBO) problem that can be solved by simulated annealing (SA) or a coherent Ising machine (CIM). After fixed-point solving, a re-forward pass applies W8A8 fake quantization to the shared layer's weights and activations. We evaluate Q-DEQ with an iTransformer backbone on five multivariate time series forecasting datasets. Relative MSE differences from the explicit multi-layer baseline range from $-1.16\%$ to $+2.90\%$, with lower MSE on two datasets. DEQ parameter sharing reduces parameter counts by factors of $1.80\times$--$3.82\times$; combined with W8A8, static weight storage is reduced by factors of $4.3\times$--$12.8\times$. Local QUBO problems solved using CPU-based SA and the Kaiwu CIM physical backend produce closely matching downstream forecasts. These results establish local discrete solving as a viable component of DEQ time series forecasting and provide a route for executing fixed-point updates through different combinatorial optimization backends.
- Abstract（参考訳）: エッジデプロイメントは、コンパクトなパラメータストレージと低ビット表現を備えた予測モデルを動機付けている。
深い平衡モデル(DEQ)は、共有層を繰り返し適用することで暗黙の深さを求め、明示的な層積み重ねのパラメータコストを低減させる。
しかし、アンダーソンの通常の解法は、連続実領域における更新係数を探索する。
本稿では、離散最適化問題としてDECの局所的な更新を定式化するQ-DEQを提案する。
現在の状態とイテレーション履歴から候補方向を構築し、それらの組み合わせを評価するために局所的な二次残留モデルを用いる。
方向係数のバイナリ符号化は、シミュレートアニーリング(SA)またはコヒーレントイジングマシン(CIM)によって解くことができる2次非制約バイナリ最適化(QUBO)問題をもたらす。
固定点解法の後、再フォワードパスは、共有層の重みとアクティベーションにW8A8偽量子化を適用する。
5つの時系列予測データセット上で,iTransformerのバックボーンを用いたQ-DEQを評価する。
明示的なマルチレイヤベースラインとの相対的なMSE差は、$-1.16\%$から$+2.90\%$までであり、2つのデータセットでは低いMSEである。
DEQパラメータ共有はパラメータ数を1.80\times$--$3.82\times$で減らし、W8A8と組み合わせると静的な重み付けは4.3\times$--$12.8\times$で減らされる。
CPUベースのSAとKaiwu CIM物理バックエンドを使用して解決されたローカルQUBO問題は、下流の予測に密接に一致する。
これらの結果は、DEC時系列予測の実行可能なコンポーネントとして局所離散解を確立し、異なる組合せ最適化バックエンドを通じて固定点更新を実行するための経路を提供する。
関連論文リスト
- Scalable Lindblad Noise Learning via Stochastic Tensor-Network Simulation [48.887627688666974]
大規模オープン量子システムにおける学習散逸率は、短期量子技術の大きな障害である。
本稿では,シミュレーション手法であるJump Method(TJM)を組み合わせたLindblad散逸率のスケーラブルなノイズ学習フレームワークを提案する。
我々は,Isingモデルにおける2つのノイズモデルに対するアプローチを実証し,各サイトについて,N_mathrmsite=16$まで独立散逸率を学習した。
スケーラブルな数値と厳密な理論的保証の組み合わせは、TJMベースのノイズ学習を大きな量子デバイスにおける散逸を特徴づける実用的な基礎として位置づけている。
論文 参考訳（メタデータ） (2026-08-25T15:07:11Z) - Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives [2.153824429735596]
モデルに基づく楽観的学習アルゴリズムを開発し、遷移カーネルの信頼セットと低バッファの量子化基準を用いて計画する。
チューリング時間短縮の下で, 正確な点量子化評価と, 正確な低バッファ化量子化評価がPPハードであることを証明する。
論文 参考訳（メタデータ） (2026-08-23T05:41:32Z) - SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳（メタデータ） (2026-08-05T17:51:25Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Quantum Algorithm for Distributed Reduction of Entanglements (QADR): A Trainable and Simulation-Efficient QML Framework [0.0787796182001592]
ノイズ中間量子(NISQ)制約下での変分量子回路(VQC)の訓練は、厳しい計算制限をもたらす。
本稿では,量子エンタングルメントの分散化のための量子アルゴリズム(QADR)を紹介し,評価する。
QADRは、グローバル$n$-qubit VQCを、個々の標的量子ビットの因果光円錐のほぼ内で動作する局所化サブ回路に分解する。
論文 参考訳（メタデータ） (2026-05-31T15:23:10Z) - Covariance-Aware Transformers for Quadratic Programming and Decision Making [25.76921238593292]
行列変数をトークン化することにより、線形アテンション機構が非制約QPを確実に解けることを示す。
時系列基礎モデルを強化する汎用的な方法であるTime2Decideを紹介する。
古典的ポートフォリオ最適化問題において,Time2Decideが基本TSFMモデルより一様に優れていることがわかった。
論文 参考訳（メタデータ） (2026-02-16T06:39:24Z) - qc-kmeans: A Quantum Compressive K-Means Algorithm for NISQ Devices [3.4129039170001314]
NISQハードウェア上のクラスタリングは、データローディングと限定キュービットによって制限される。
提案するqc-kmeansは,QAOA回路が浅いグループごとのQUBOを解くことで,一定のサイズのフーリエ特徴スケッチでデータセットを要約し,セントロイドを選択するハイブリッドな$k$-meansである。
論文 参考訳（メタデータ） (2025-10-26T05:44:17Z) - Mix-QSAM: Mixed-Precision Quantization of the Segment Anything Model [0.0]
Mix-QSAMはSegment Anything Model(SAM)のためのPTQフレームワークである。
モデル出力に対する各レイヤの寄与を定量化するために,Kulback-Leibler (KL) 偏差を用いて導出したレイヤ単位の重要度スコアを導入する。
また、隣接層間の依存関係を捉えるために、因果的相互情報に基づく新しい計量である層間相乗法を導入する。
論文 参考訳（メタデータ） (2025-05-08T00:08:31Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳（メタデータ） (2023-12-13T07:56:27Z) - TFMQ-DM: Temporal Feature Maintenance Quantization for Diffusion Models [52.454274602380124]
拡散モデルは非常に時間ステップ$t$に大きく依存し、良好なマルチラウンドデノジングを実現している。
本稿では,時間情報ブロック上に構築した時間的特徴保守量子化(TFMQ)フレームワークを提案する。
先駆的なブロック設計により、時間情報認識再構成(TIAR)と有限集合キャリブレーション(FSC)を考案し、完全な時間的特徴を整列させる。
論文 参考訳（メタデータ） (2023-11-27T12:59:52Z) - Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。
これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。
暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文 参考訳（メタデータ） (2022-04-18T17:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。