論文の概要: An Empirical Study of World Model Quantization

• arxiv url: http://arxiv.org/abs/2602.02110v1
• Date: Mon, 02 Feb 2026 13:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.182903
• Title: An Empirical Study of World Model Quantization
• Title（参考訳）: 世界モデル量子化の実証的研究
• Authors: Zhongqian Fu, Tianyi Zhao, Kai Han, Hang Zhou, Xinghao Chen, Yunhe Wang,
• Abstract要約: DINO-WMを用いた世界モデル量子化の系統的研究を行った。 我々は、幅広いビット幅、量子化の粒度、最大50イテレーションまでの計画地平線を含む様々な視覚的計画タスクについて実験を行う。 その結果,世界モデルにおける量子化効果は,標準精度やビット幅トレードオフを超えていることがわかった。
• 参考スコア（独自算出の注目度）: 34.94388089174202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models learn an internal representation of environment dynamics, enabling agents to simulate and reason about future states within a compact latent space for tasks such as planning, prediction, and inference. However, running world models rely on hevay computational cost and memory footprint, making model quantization essential for efficient deployment. To date, the effects of post-training quantization (PTQ) on world models remain largely unexamined. In this work, we present a systematic empirical study of world model quantization using DINO-WM as a representative case, evaluating diverse PTQ methods under both weight-only and joint weight-activation settings. We conduct extensive experiments on different visual planning tasks across a wide range of bit-widths, quantization granularities, and planning horizons up to 50 iterations. Our results show that quantization effects in world models extend beyond standard accuracy and bit-width trade-offs: group-wise weight quantization can stabilize low-bit rollouts, activation quantization granularity yields inconsistent benefits, and quantization sensitivity is highly asymmetric between encoder and predictor modules. Moreover, aggressive low-bit quantization significantly degrades the alignment between the planning objective and task success, leading to failures that cannot be remedied by additional optimization. These findings reveal distinct quantization-induced failure modes in world model-based planning and provide practical guidance for deploying quantized world models under strict computational constraints. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/QuantWM.
• Abstract（参考訳）: 世界モデルは環境力学の内部表現を学習し、エージェントは計画、予測、推論といったタスクのために、コンパクトな潜在空間内の将来の状態をシミュレートし、推論することができる。 しかし、世界モデルの実行は計算コストとメモリフットプリントに依存するため、効率的なデプロイメントにはモデル量子化が不可欠である。 現在まで、世界モデルに対するポストトレーニング量子化(PTQ)の影響はほとんど検討されていない。 本研究では, DINO-WMを用いた世界モデル量子化の系統的研究を行い, 重量限定および共同重量活性化条件下での多様なPTQ手法の評価を行った。 我々は、幅広いビット幅、量子化の粒度、最大50イテレーションまでの計画地平線を含む様々な視覚的計画タスクについて広範な実験を行う。 その結果,世界モデルにおける量子化効果は,標準精度やビット幅トレードオフを超えて,低ビットロールアウトの安定化,アクティベーション量子化粒度の不整合性,エンコーダと予測モジュール間での量子化感度は極めて非対称であることがわかった。 さらに、アグレッシブな低ビット量子化は計画目標とタスク成功の整合性を著しく低下させ、さらなる最適化では修正できない失敗につながります。 これらの結果は、世界モデルに基づく計画において、量子化によって引き起こされる障害モードを明らかにし、厳密な計算制約の下で量子化世界モデルをデプロイするための実践的なガイダンスを提供する。 コードはhttps://github.com/huawei-noah/noah-research/tree/master/QuantWMで入手できる。

関連論文リスト

• MoQE: Improve Quantization Model performance via Mixture of Quantization Experts [5.990018519616728]
  Mixture of Quantization Experts(略称:MoQE)は、Mixture-of-Expertsアーキテクチャに基づく量子化推論フレームワークである。 MoQEは1つの完全精度モデルの複数の量子化変種を「量子化の専門家」として結合する 我々は,MQEがSOTA量子化モデルに匹敵する性能を達成できることを示す。
  論文  参考訳（メタデータ） (2025-08-09T05:58:29Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• A Data-Free Analytical Quantization Scheme for Deep Learning Models [1.815974770854455]
  モデル重みに対する学習後の量子化手法を提案する。 提案手法は,量子化ノイズを最小限に抑える数学的保証とともに,最適クリッピングしきい値とスケーリング係数を求める。 実世界のデータセットにおける実験結果から,我々の量子化方式はモデルの精度を保ちながら,モデルのサイズと計算要求を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2024-12-10T10:33:58Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。