論文の概要: Amortized-Precision Quantization for Early-Exit Vision Transformers

• arxiv url: http://arxiv.org/abs/2605.07317v1
• Date: Fri, 08 May 2026 06:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.855673
• Title: Amortized-Precision Quantization for Early-Exit Vision Transformers
• Title（参考訳）: 初期出力型視覚変換器の補正精度量子化
• Abstract要約: 本稿では,Amortized-Precision Quantization (APQ)について紹介する。 提案するMultual Adaptive Quantization with Early Exiting (MAQEE)は,予測安定性を向上させるために,明示的なリスク制御の下で,出口閾値とビット幅を協調的に最適化するバイレベルフレームワークである。
• 参考スコア（独自算出の注目度）: 14.001192614503807
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision Transformers (ViTs) achieve strong performance across vision tasks, yet their deployment with low-precision early exiting remains fragile. Existing quantization methods assume static full-depth execution, making them unstable when exit decisions are perturbed by quantization noise, which can amplify errors along dynamic inference paths. In this paper, we introduce Amortized-Precision Quantization (APQ), a utilization-aware formulation that accounts for layer-wise stochastic exposure to quantization noise and reveals depth-precision trade-offs. Building on APQ, we propose Mutual Adaptive Quantization with Early Exiting (MAQEE), a bi-level framework that jointly optimizes exit thresholds and bit-widths under explicit risk control to improve inference stability. MAQEE establishes a superior Pareto frontier in the accuracy-efficiency trade-off, reducing BOPs by up to 95% while maintaining accuracy and outperforming strong baselines by up to 20\% across classification, detection, and segmentation tasks.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は、視覚タスク全体で強力なパフォーマンスを達成するが、低精度の早期終了によるデプロイメントは脆弱である。 既存の量子化法では、静的な全深度実行を前提としており、出口決定が量子化ノイズによって乱れてしまうと不安定になり、動的推論経路に沿ってエラーを増幅することができる。 本稿では,Amortized-Precision Quantization (APQ)について紹介する。 APQ上に構築されたMultual Adaptive Quantization with Early Exiting (MAQEE)は,推定安定性を向上させるために,明示的なリスク制御の下で,出口閾値とビット幅を協調的に最適化するバイレベルフレームワークである。 MAQEEは精度と効率のトレードオフにおいて優れたParetoフロンティアを確立し、BOPを最大95%削減し、精度を維持し、分類、検出、セグメンテーションタスクで最大20倍の強いベースラインを達成している。

関連論文リスト

• Distribution-Aware Robust Bilevel Optimization: Quantile-Guided Huber Updates in Two-Timescale Stochastic Approximation [16.106678611834102]
  双レベル最適化(BLO)は階層的な決定には基本的だが、重み付き雑音下での臨界不安定性に悩まされている。 既存の技術は通常、等級チェックに依存しており、情報的幾何学的信号と外れ値の区別に失敗する。
  論文  参考訳（メタデータ） (2026-06-21T10:57:37Z)
• DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising [4.249024052507976]
  最適制御(SOC)による拡散モデルからの制約付きサンプリングのためのトレーニング不要アルゴリズムであるDiRecTを導入する。 モデル予測制御にインスパイアされ、不利な制約付き SOC の定式化のために、リテーディング・ホライゾン・サロゲートを導出する。 実験により、DiRecTは既存の拡散ベースの計画ベースラインよりも、デプロイメントの安全性とタスクパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2026-06-13T15:41:26Z)
• Decision-calibrated prediction sets for robust power system operations [2.234083934481286]
  気象に依存した不確実性に支配される電力系統の運用コストと信頼性のバランスをとるために、決定校正された不確実性セットを導入する。 これらは条件付きカバレッジではなく、下流の意思決定の信頼性の観点から定義される。 決定校正された集合が所定の制約満足度目標を約3ポイントの範囲で達成できることを示し、一方、標準カバレッジに基づく校正は、これらの目標を11ポイント以上体系的に超えることを示した。
  論文  参考訳（メタデータ） (2026-06-01T11:12:09Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
  本稿では,量子化による損失に対応する新しい手法を提案する。 CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。 LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
  論文  参考訳（メタデータ） (2025-10-21T16:33:57Z)
• Beyond Outliers: A Study of Optimizers Under Quantization [82.75879062804955]
  量子化下でのモデルロバスト性に対する選択の影響について検討する。 モデルの性能が、異なるベースラインでトレーニングした場合にどのように低下するかを評価する。 異なるパラメータによる量子化対応トレーニングのスケーリング法則を導出する。
  論文  参考訳（メタデータ） (2025-09-27T21:15:22Z)
• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Token Constraint Decoding Improves Robustness on Question Answering for Large Language Models [4.078176555898098]
  我々は,Token Constraint Decoding (TCD)を導入し,評価する。 この単純で効果的な推論時間アルゴリズムは、ノイズのある設定で堅牢性を高めるためにトークンレベルの予測をアライメントする。 本研究は, 実世界の不完全条件下での推論安定性向上のための, 実用的, モデルに依存しないアプローチとして, TCDを確立した。
  論文  参考訳（メタデータ） (2025-06-11T05:33:56Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• DopQ-ViT: Towards Distribution-Friendly and Outlier-Aware Post-Training Quantization for Vision Transformers [31.791935689364866]
  視覚変換器(ViT)のためのDopQ-ViTを提案する。 第一に、DopQ-ViTはTan Quantizer (TanQ)を導入している。 第2に、DopQ-ViT は MAD-Guided Optimal Scaling Factor (MOSF) を提示する。
  論文  参考訳（メタデータ） (2024-08-06T16:40:04Z)
• Towards Accurate Post-Training Quantization for Vision Transformer [48.779346466374406]
  既存のトレーニング後の量子化手法は依然として深刻な性能低下を引き起こしている。 APQ-ViTは、既存のトレーニング後の量子化手法を証明マージンによって超越している。
  論文  参考訳（メタデータ） (2023-03-25T03:05:26Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。