論文の概要: An Empirical Study of World Model Quantization

• arxiv url: http://arxiv.org/abs/2602.02110v1
• Date: Mon, 02 Feb 2026 13:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.182903
• Title: An Empirical Study of World Model Quantization
• Title（参考訳）: 世界モデル量子化の実証的研究
• Authors: Zhongqian Fu, Tianyi Zhao, Kai Han, Hang Zhou, Xinghao Chen, Yunhe Wang,
• Abstract要約: DINO-WMを用いた世界モデル量子化の系統的研究を行った。 我々は、幅広いビット幅、量子化の粒度、最大50イテレーションまでの計画地平線を含む様々な視覚的計画タスクについて実験を行う。 その結果,世界モデルにおける量子化効果は,標準精度やビット幅トレードオフを超えていることがわかった。
• 参考スコア（独自算出の注目度）: 34.94388089174202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World models learn an internal representation of environment dynamics, enabling agents to simulate and reason about future states within a compact latent space for tasks such as planning, prediction, and inference. However, running world models rely on hevay computational cost and memory footprint, making model quantization essential for efficient deployment. To date, the effects of post-training quantization (PTQ) on world models remain largely unexamined. In this work, we present a systematic empirical study of world model quantization using DINO-WM as a representative case, evaluating diverse PTQ methods under both weight-only and joint weight-activation settings. We conduct extensive experiments on different visual planning tasks across a wide range of bit-widths, quantization granularities, and planning horizons up to 50 iterations. Our results show that quantization effects in world models extend beyond standard accuracy and bit-width trade-offs: group-wise weight quantization can stabilize low-bit rollouts, activation quantization granularity yields inconsistent benefits, and quantization sensitivity is highly asymmetric between encoder and predictor modules. Moreover, aggressive low-bit quantization significantly degrades the alignment between the planning objective and task success, leading to failures that cannot be remedied by additional optimization. These findings reveal distinct quantization-induced failure modes in world model-based planning and provide practical guidance for deploying quantized world models under strict computational constraints. The code will be available at https://github.com/huawei-noah/noah-research/tree/master/QuantWM.
• Abstract（参考訳）: 世界モデルは環境力学の内部表現を学習し、エージェントは計画、予測、推論といったタスクのために、コンパクトな潜在空間内の将来の状態をシミュレートし、推論することができる。 しかし、世界モデルの実行は計算コストとメモリフットプリントに依存するため、効率的なデプロイメントにはモデル量子化が不可欠である。 現在まで、世界モデルに対するポストトレーニング量子化(PTQ)の影響はほとんど検討されていない。 本研究では, DINO-WMを用いた世界モデル量子化の系統的研究を行い, 重量限定および共同重量活性化条件下での多様なPTQ手法の評価を行った。 我々は、幅広いビット幅、量子化の粒度、最大50イテレーションまでの計画地平線を含む様々な視覚的計画タスクについて広範な実験を行う。 その結果,世界モデルにおける量子化効果は,標準精度やビット幅トレードオフを超えて,低ビットロールアウトの安定化,アクティベーション量子化粒度の不整合性,エンコーダと予測モジュール間での量子化感度は極めて非対称であることがわかった。 さらに、アグレッシブな低ビット量子化は計画目標とタスク成功の整合性を著しく低下させ、さらなる最適化では修正できない失敗につながります。 これらの結果は、世界モデルに基づく計画において、量子化によって引き起こされる障害モードを明らかにし、厳密な計算制約の下で量子化世界モデルをデプロイするための実践的なガイダンスを提供する。 コードはhttps://github.com/huawei-noah/noah-research/tree/master/QuantWMで入手できる。

関連論文リスト

• Scaling Laws for Precision in High-Dimensional Linear Regression [38.87908801454087]
  本研究では,高次元スケッチ化線形回帰フレームワークにおける低精度トレーニングのためのスケーリング法則について検討する。 乗法および加法量子化を解析することにより、スケーリング行動における臨界二分法を同定する。 本研究は,実際のハードウェア制約下でのトレーニングプロトコルの最適化に関する理論的基礎を提供する。
  論文  参考訳（メタデータ） (2026-02-22T15:51:29Z)
• Quantization-Aware Collaborative Inference for Large Embodied AI Models [67.66340659245186]
  大規模人工知能モデル(LAIM)は、AIアプリケーションを具現化するためのコアインテリジェンスエンジンとしてますます見なされている。 この問題に対処するために、具体化されたAIシステムに対する量子化対応協調推論(コ推論)について検討する。
  論文  参考訳（メタデータ） (2026-02-13T16:08:19Z)
• LSGQuant: Layer-Sensitivity Guided Quantization for One-Step Diffusion Real-World Video Super-Resolution [52.627063566555194]
  本稿では,一段階拡散に基づく実世界VSRのための層感度誘導量子化手法LSGQuantを紹介する。 本手法は,ビデオトークンのアクティベーションに適合する動的レンジ適応量子化器 (DRAQ) を備える。 提案手法は,完全精度のオリジンモデルに対してほぼ性能が良く,既存の量子化手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2026-02-03T06:53:19Z)
• MoQE: Improve Quantization Model performance via Mixture of Quantization Experts [5.990018519616728]
  Mixture of Quantization Experts(略称:MoQE)は、Mixture-of-Expertsアーキテクチャに基づく量子化推論フレームワークである。 MoQEは1つの完全精度モデルの複数の量子化変種を「量子化の専門家」として結合する 我々は,MQEがSOTA量子化モデルに匹敵する性能を達成できることを示す。
  論文  参考訳（メタデータ） (2025-08-09T05:58:29Z)
• Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation [7.193483612237862]
  本研究では,誤差障壁のレンズを通したモデルマージにおける量子化の影響を解析する。 マルチターゲット領域適応のためのモデルマージを考慮に入れた,新しい学習後量子化 HDRQ - Hessian および遠方正則化量子化を提案する。 提案手法は, 損失面を平坦化し, モデルマージの円滑化を図っている。
  論文  参考訳（メタデータ） (2025-05-29T17:00:56Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• A Data-Free Analytical Quantization Scheme for Deep Learning Models [1.815974770854455]
  モデル重みに対する学習後の量子化手法を提案する。 提案手法は,量子化ノイズを最小限に抑える数学的保証とともに,最適クリッピングしきい値とスケーリング係数を求める。 実世界のデータセットにおける実験結果から,我々の量子化方式はモデルの精度を保ちながら,モデルのサイズと計算要求を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2024-12-10T10:33:58Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Compensate Quantization Errors+: Quantized Models Are Inquisitive Learners [51.32182730502002]
  重み分布を改良し、量子化アライメントを改善するために、特異値対角展開を導入する。 我々のプラグアンドプレイウェイト量子化法は、最先端のアプローチよりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-22T09:45:16Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。