論文の概要: Decoder-Free Distillation for Quantized Image Restoration

• arxiv url: http://arxiv.org/abs/2603.09624v1
• Date: Tue, 10 Mar 2026 13:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.322475
• Title: Decoder-Free Distillation for Quantized Image Restoration
• Title（参考訳）: 量子化画像復元のためのデコーダフリー蒸留法
• Authors: S. M. A. Sharif, Abdur Rehman, Seongwan Kim, Jaeho Lee,
• Abstract要約: エッジ展開画像復元のためのフレームワークであるQDR(Quantization-Aware Distilled Restoration)を紹介する。 QDRはFP32自己蒸留による容量ミスマッチを排除し、デコーダフリー蒸留(DFD)による誤差増幅を防ぐ また、競合する勾配の動的バランスをとるLearnerable Magnitude Reweighting (LMR)を提案する。
• 参考スコア（独自算出の注目度）: 10.108202910626536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization-Aware Training (QAT), combined with Knowledge Distillation (KD), holds immense promise for compressing models for edge deployment. However, joint optimization for precision-sensitive image restoration (IR) to recover visual quality from degraded images remains largely underexplored. Directly adapting QAT-KD to low-level vision reveals three critical bottlenecks: teacher-student capacity mismatch, spatial error amplification during decoder distillation, and an optimization "tug-of-war" between reconstruction and distillation losses caused by quantization noise. To tackle these, we introduce Quantization-aware Distilled Restoration (QDR), a framework for edge-deployed IR. QDR eliminates capacity mismatch via FP32 self-distillation and prevents error amplification through Decoder-Free Distillation (DFD), which corrects quantization errors strictly at the network bottleneck. To stabilize the optimization tug-of-war, we propose a Learnable Magnitude Reweighting (LMR) that dynamically balances competing gradients. Finally, we design an Edge-Friendly Model (EFM) featuring a lightweight Learnable Degradation Gating (LDG) to dynamically modulate spatial degradation localization. Extensive experiments across four IR tasks demonstrate that our Int8 model recovers 96.5% of FP32 performance, achieves 442 frames per second (FPS) on an NVIDIA Jetson Orin, and boosts downstream object detection by 16.3 mAP
• Abstract（参考訳）: QAT(Quantization-Aware Training)とKD(Knowledge Distillation)が組み合わさって、エッジデプロイメントのためのモデル圧縮を大いに約束している。 しかし、劣化した画像から視覚的品質を回復するための精度の高い画像復元(IR)のための共同最適化は、ほとんど未検討のままである。 低レベルの視覚にQAT-KDを直接適用すると、教師の学習能力のミスマッチ、デコーダ蒸留時の空間誤差の増幅、量子化ノイズによる再生と蒸留損失の間の「綱引き」の3つの重要なボトルネックが明らかになる。 このような問題に対処するために、エッジ展開IRのフレームワークであるQuantization-Aware Distilled Restoration (QDR)を導入する。 QDRは、FP32自己蒸留によるキャパシティミスマッチを排除し、デコーダフリー蒸留(DFD)によるエラー増幅を防ぐ。 最適タグ・オブ・ウォーを安定化するために,競合する勾配の動的バランスをとるLearable Magnitude Reweighting (LMR)を提案する。 最後に,空間劣化局所化を動的に変調する軽量なLearningable Degradation Gating(LDG)を備えたエッジフレンドリーモデル(EFM)を設計する。 4つのIRタスクにわたる大規模な実験により、我々のInt8モデルはFP32性能の96.5%を回復し、NVIDIA Jetson Orin上で442フレーム/秒(FPS)を達成した。

関連論文リスト

• D3R-Net: Dual-Domain Denoising Reconstruction Network for Robust Industrial Anomaly Detection [0.0]
  非教師付き異常検出(UAD)は、現代の製造において、自動視覚検査の鍵となる要素である。 本稿では、D3R-Netについて紹介する。D3R-Netは、自己教師型「癒し」タスクと周波数認識正規化を結合したデュアルドメイン・デノベーション・コンストラクションフレームワークである。 空間平均二乗誤差に加えて、周波数領域の整合性を促進するFast Fourier Transform (FFT) 等級損失を用いる。
  論文  参考訳（メタデータ） (2026-01-27T23:21:59Z)
• Opacity-Gradient Driven Density Control for Compact and Efficient Few-Shot 3D Gaussian Splatting [0.0]
  本稿では,3DGSの最適化を最適化し,効率を優先するフレームワークを提案する。 我々は、標準位置勾配を、不透明度勾配をレンダリングエラーの軽量プロキシとして利用する新しい密度化トリガに置き換える。 3ビューのLLFFデータセットでは、我々のモデルはFSGSよりも40%以上コンパクト(32k対57kプリミティブ)であり、Mip-NeRF 360データセットでは約70%の削減を実現している。
  論文  参考訳（メタデータ） (2025-10-11T15:33:50Z)
• Punching Above Precision: Small Quantized Model Distillation with Learnable Regularizer [9.85847764731154]
  Game of Regularizer (GoR) は、タスク固有性(TS)と蒸留損失を適応的にバランスをとる学習可能な正規化手法である。 GoRは、最先端のQAT-KD法を低消費電力エッジデバイスで一貫して上回っている。 また,多種多様な教師モデルを用いたアンサンブル蒸留フレームワークQAT-EKD-GoRについても紹介する。
  論文  参考訳（メタデータ） (2025-09-25T07:43:13Z)
• ZipIR: Latent Pyramid Diffusion Transformer for High-Resolution Image Restoration [75.0053551643052]
  本稿では、高解像度画像復元のための効率性、スケーラビリティ、長距離モデリングを向上する新しいフレームワークZipIRを紹介する。 ZipIRは画像32xを圧縮する高度に圧縮された潜在表現を使用し、空間トークンの数を効果的に削減する。 ZipIRは既存の拡散ベースの手法を超越し、高度に劣化した入力からの高解像度画像の復元において、未整合の速度と品質を提供する。
  論文  参考訳（メタデータ） (2025-04-11T14:49:52Z)
• 4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video [56.04182926886754]
  3D Gaussian Splatting (3DGS)は、フォトリアリスティック・フリー・ビューポイント・ビデオ(FVV)体験を可能にする大きな可能性を秘めている。 既存の方法は、動的3DGS表現と圧縮を別々に扱うのが一般的である。 本稿では,FVVのRD性能を向上しつつ,ストレージサイズを大幅に削減するレート対応4Dガウス圧縮フレームワークである4DGCを提案する。
  論文  参考訳（メタデータ） (2025-03-24T08:05:27Z)
• Decouple to Reconstruct: High Quality UHD Restoration via Active Feature Disentanglement and Reversible Fusion [77.08942160610478]
  超高精細画像復元(UHD)は、高解像度のため、しばしば計算ボトルネックや情報損失に直面している。 本稿では,より難解な劣化情報を潜時空間に符号化しながら,容易に復元可能な背景情報を破棄する制御付き微分遠絡型VAEを提案する。 提案手法は,UHD画像復元の精度を向上し,UHD画像復元の6つの課題を1Mパラメータのみで実現し,VAEモデルにおける情報損失問題を効果的に軽減する。
  論文  参考訳（メタデータ） (2025-03-17T02:55:18Z)
• Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
  デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。 本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
  論文  参考訳（メタデータ） (2025-03-14T17:01:17Z)
• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• Learning A Coarse-to-Fine Diffusion Transformer for Image Restoration [39.071637725773314]
  画像復元のための粗大な拡散変換器(C2F-DFT)を提案する。 C2F-DFTは拡散自己注意(DFSA)と拡散フィードフォワードネットワーク(DFN)を含んでいる 粗い訓練段階において,我々のC2F-DFTはノイズを推定し,サンプリングアルゴリズムにより最終クリーン画像を生成する。
  論文  参考訳（メタデータ） (2023-08-17T01:59:59Z)
• Attention Based Real Image Restoration [48.933507352496726]
  深層畳み込みニューラルネットワークは、合成劣化を含む画像に対してより良い性能を発揮する。 本稿では,新しい1段ブラインド実画像復元ネットワーク(R$2$Net)を提案する。
  論文  参考訳（メタデータ） (2020-04-26T04:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。