論文の概要: Calibrate the Decisions That Change the Future: On-Policy Post-Training Quantization for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2609.36828v1
- Date: Tue, 29 Sep 2026 06:37:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.241973
- Title: Calibrate the Decisions That Change the Future: On-Policy Post-Training Quantization for Multimodal Large Language Models
- Title（参考訳）: 未来を変える決定をキャリブレーションする:マルチモーダル大言語モデルのためのオンライン学習後の量子化
- Abstract要約: トレーニング後の量子化(PTQ)デプロイメントは、大規模言語モデルのデプロイメントコストを低減します。
OnPTQは,現行の定量化政策によるトラジェクトリの校正を行うオンラインフレームワークである。
- 参考スコア（独自算出の注目度）: 21.250020079493513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training quantization (PTQ) lowers deployment cost for multimodal large language models, but calibration typically reconstructs fixed sequences with local objectives. This overlooks autoregressive feedback: a quantization-induced token change redirects the prefix and changes future states. Yet on-policy coverage alone is insufficient because many decision mismatches barely affect future generation. We propose OnPTQ, an on-policy framework that calibrates on trajectories visited by the current quantized policy. On shared prefixes, OnPTQ identifies quantization-eroded boundaries, evaluates competing tokens through short counterfactual rollouts, and combines current discrepancy with branch consequence into a Decision--Consequence risk. The risk prioritizes critical states, while context anchoring and trajectory refresh preserve multimodal behavior and keep calibration aligned with the updated policy. We further derive a Decision--Consequence bound linking behavioral deviation to current policy discrepancy and action-conditioned future-value span. Across vision--language and omni-modal Qwen models under multiple low-bit settings, OnPTQ improves downstream performance and yields fewer correctness flips against the corresponding Dense/FP16 references, without changing the deployed inference graph.
- Abstract（参考訳）: トレーニング後の量子化(PTQ)は、マルチモーダルな大規模言語モデルのデプロイメントコストを下げるが、キャリブレーションは通常、固定シーケンスを局所的な目的で再構築する。
量子化によって引き起こされるトークンの変更はプレフィックスをリダイレクトし、将来の状態を変更する。
しかし、多くの意思決定ミスマッチが将来の世代にはほとんど影響しないため、政治上の報道だけでは不十分である。
OnPTQは,現行の定量化政策によるトラジェクトリの校正を行うオンラインフレームワークである。
共有プレフィックスにおいて、OnPTQは、量子化による境界を識別し、短い反ファクト的なロールアウトを通じて競合トークンを評価し、現在の不一致を分岐結果と組み合わせて決定-結果のリスクを優先する一方で、コンテキストアンカーとトラジェクトリーリフレッシュはマルチモーダルな振る舞いを保存し、更新されたポリシーに沿うキャリブレーションを維持するとともに、現在の政策の不一致と行動条件付き将来価値とをリンクする決定-連続バウンダリ(Decision-Consequence bound)を導出する。
複数の低ビット設定下での視覚-言語とオムニモーダルQwenモデル全体で、OnPTQはダウンストリーム性能を改善し、デプロイされた推論グラフを変更することなく、対応するDense/FP16参照に対する正確性フリップを少なくする。
関連論文リスト
- Revisiting TD Target Aggregation under Uncertainty in Q-Learning [2.4908682918195804]
Deep Q-Networks(DQN)は、ブートストラップされた時間差分更新を通じて値関数を学習する。
我々は、TDターゲットの生成方法を規則化するQラーニングへの簡単なロールアウトである、textbfSuccessor Rollout textbfAggregation textbfDeep textbfQ-Network (SADQ)を提案する。
論文 参考訳（メタデータ） (2026-08-04T03:31:24Z) - Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
比クリッピングは流れモデルに不適であると主張する。
本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。
実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
論文 参考訳（メタデータ） (2026-06-09T15:59:57Z) - Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning [14.631835952085263]
本稿では,2つのメカニズムを介して更新を有限水平ポリシー改善境界に整合させるトークンレベルのマスキングルールを提案する。
CPPOはトレーニングの安定性を高め、様々なモデルスケールでの推論精度を大幅に向上させる。
論文 参考訳（メタデータ） (2026-06-09T15:09:29Z) - One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。
本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。
実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
論文 参考訳（メタデータ） (2026-05-21T08:25:27Z) - Smooth Multi-Policy Causal Effect Estimation in Longitudinal Settings [13.1234934131475]
本稿では,共有表現による共同推定が可能な反復条件予測(ICE)Q-関数の再パラメータ化を提案する。
共有ポリシエンコーダを中心としたアーキテクチャであるPEQ-Net(Policy-Encoded Q Network)において,このアプローチを実装した。
半合成データセットの実験では、PEQ-Netは既存のICEベースの手法よりも一貫して優れており、ルート平均二乗誤差の大幅な削減を実現している。
論文 参考訳（メタデータ） (2026-05-14T02:33:58Z) - Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。
FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。
FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
論文 参考訳（メタデータ） (2026-05-12T17:12:29Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。
本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。
BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
論文 参考訳（メタデータ） (2026-03-06T01:46:02Z) - Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning [49.92803982100042]
我々は,現在の政策と過去の政策のエントロピー比を新たなグローバル指標として用いることを提案する。
エントロピー比に双方向の制約を課すtextbfEntropy Ratio (ERC) 機構を導入する。
これは、グローバルな分布レベルでの政策更新を安定化させ、未サンプリングアクションの確率シフトを規制するPPOクリップの不能を補償する。
論文 参考訳（メタデータ） (2025-12-05T10:26:32Z) - Off-Policy Evaluation for Large Action Spaces via Policy Convolution [60.6953713877886]
ポリシ・コンボリューション(Policy Convolution)のファミリーは、アクション内の潜在構造を使用して、ログとターゲットポリシを戦略的に畳み込みます。
合成およびベンチマークデータセットの実験では、PCを使用する場合の平均二乗誤差(MSE)が顕著に改善されている。
論文 参考訳（メタデータ） (2023-10-24T01:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。