論文の概要: FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2606.06547v1
• Date: Thu, 04 Jun 2026 08:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.363544
• Title: FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models
• Title（参考訳）: FAIR-Calib:拡散大言語モデルの学習後量子化のためのフロンティア対応不安定度重み付けキャリブレーション
• Authors: Haoyu Huang, Linlin Yang, Sheng Xu, Boyu Liu, Guodong Guo, Zhongqian Fu, Hang Zhou, Baochang Zhang,
• Abstract要約: エンドツーエンドの拡散ロールアウトを必要とせずに、脆弱なフロンティア状態の保護を優先するdLLMのための2段階PTQフレームワークを提案する。 我々は、FAIR-CalibがLLaDAとDream(W4A4)の最先端ベースラインを一貫して上回り、フロンティア決定のフリップを減らし、様々なベンチマークにおけるコミット後のミスマッチを抑制することを示した。
• 参考スコア（独自算出の注目度）: 50.86041384789834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Large Language Models (dLLMs) refine tokens iteratively but commit them irreversibly, leading to a "stability lag" where early decisions remain fragile even after being written. We reveal that Post-Training Quantization (PTQ) error easily flips these borderline decisions at the write frontier, which are then permanently locked in and amplified. To address this, we propose Frontier-Aware Instability-Reweighted Calibration (FAIR-Calib), a two-stage PTQ framework for dLLMs. Stage I probes a full-precision teacher to estimate a position prior that combines frontier hits and masked-stage reliability. Stage II performs off-policy, layer-wise calibration by minimizing a reweighted hidden-state MSE, effectively prioritizing the protection of fragile frontier states without requiring expensive end-to-end diffusion rollouts. We further theoretically justify our weighted objective as a surrogate for output KL divergence. Empirically, FAIR-Calib consistently outperforms state-of-the-art baselines on LLaDA and Dream (W4A4), significantly reducing frontier decision flips and suppressing post-commit mismatches across diverse benchmarks.
• Abstract（参考訳）: 拡散大言語モデル(dLLM)はトークンを反復的に洗練するが、それを不可逆的にコミットする。 トレーニング後の量子化(PTQ)エラーは、書き込みフロンティアにおける境界線の決定を簡単に反転させ、永久にロックインして増幅する。 そこで本研究では,dLLMのための2段階PTQフレームワークであるFearier-Aware Instability-Reweighted Calibration (FAIR-Calib)を提案する。 ステージ1は、フロンティアヒットとマスクされたステージ信頼性を組み合わせた位置を推定するために、フル精度の教師を探索する。 ステージIIは、リウェイトされた隠蔽状態MSEを最小化し、高価なエンドツーエンド拡散ロールアウトを必要とせず、脆弱なフロンティア状態の保護を効果的に優先することにより、政外層キャリブレーションを行う。 さらに、我々は重み付けされた目的を出力KLの発散のサロゲートとして理論的に正当化する。 実証的には、FAIR-CalibはLLaDAとDream(W4A4)の最先端ベースラインを一貫して上回り、フロンティア決定のフリップを著しく削減し、さまざまなベンチマークにおけるコミット後のミスマッチを抑制する。

関連論文リスト

• PAIR: Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization [20.910779784518798]
  グループ相対的政策最適化(GRPO)は、主要な選択肢として浮上しているが、緩やかな成果報酬への依存は、中間段階にわたる信用割当を著しく制限している。 そこで本研究では,凍結型隠れ状態プローブを用いた2段階モデルを提案する。 実験の結果, PAIRは汚染された軌道上では最も高いAUROCを達成でき, 予測コストは無視できることがわかった。
  論文  参考訳（メタデータ） (2026-05-18T05:39:30Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Amortized-Precision Quantization for Early-Exit Vision Transformers [14.001192614503807]
  本稿では,Amortized-Precision Quantization (APQ)について紹介する。 提案するMultual Adaptive Quantization with Early Exiting (MAQEE)は,予測安定性を向上させるために,明示的なリスク制御の下で,出口閾値とビット幅を協調的に最適化するバイレベルフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T06:27:04Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization [0.0]
  我々は、優先順位学習を生成品質から切り離すために設計された参照なしアライメント目的のSLIMEを紹介する。 以上の結果から,SLIMEは最先端のベースラインに比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2026-02-02T17:46:06Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
  大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。 ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
  論文  参考訳（メタデータ） (2025-11-24T22:50:50Z)
• Certifiable Safe RLHF: Fixed-Penalty Constraint Optimization for Safer Language Models [7.422627253922975]
  我々は,大規模コーパスでトレーニングされたコストモデルであるCertifiable Safe-RLHFを導入し,セマンティックグラウンドの安全性スコアを割り当てる。 適切にスケールされたペナルティにより、二重変数更新の必要性を排除し、安全制約の実現性を保証することができる。 経験的評価により、CS-RLHFは、名目や脱獄のプロンプトに対して、最先端のモデル応答よりも5倍効率が高いことが示されている。
  論文  参考訳（メタデータ） (2025-10-03T21:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。