論文の概要: When W4A4 Breaks Camouflaged Object Detection: Token-Group Dual-Constraint Activation Quantization

• arxiv url: http://arxiv.org/abs/2604.16855v1
• Date: Sat, 18 Apr 2026 06:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.204213
• Title: When W4A4 Breaks Camouflaged Object Detection: Token-Group Dual-Constraint Activation Quantization
• Title（参考訳）: W4A4がカモフラージュされた物体検出を破る:Token-Group Dual-Constraint Activation Quantization
• Abstract要約: 我々はCOD-TDQ(CODを意識したToken-group Dual-Constraint activation Quantization法)を紹介する。 COD-TDQは、再学習せずに、最先端の量子化法よりも0.12以上高いスコアを一貫して達成する。
• 参考スコア（独自算出の注目度）: 18.93468282736773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Camouflaged object detection (COD) segments objects that intentionally blend with the background, so predictions depend on subtle texture and boundary cues. COD is often needed under tight on-device memory and latency budgets, making low-bit inference highly desirable. However, COD is unusually hard to quantify aggressively. We study post-training W4A4 quantization of Transformer-based COD and find a task-specific cliff: heavy-tailed background tokens dominate a shared activation range, inflating the step size and pushing weak-but-structured boundary cues into the zero bin. This exposes a token-local bottleneck -- remove cross-token range domination and bound the zero-bin mass under 4-bit activations. To address this, we introduce COD-TDQ, a COD-aware Token-group Dual-constraint activation Quantization method. COD-TDQ addresses this token-local bottleneck with two coupled steps: Direct-Sum Token-Group (DSTG) assigns token-group scales to suppress cross-token range domination, and Dual-Constraint Range Projection (DCRP) projects each token-group clip range to keep the step-to-dispersion ratio and the zero-bin mass bounded. Across four COD benchmarks and two baseline models (CFRN and ESCNet), COD-TDQ consistently achieves an Sαscore more than 0.12 higher than that of the state-of-the-art quantization method without retraining. The code will be released.
• Abstract（参考訳）: カモフラージュされたオブジェクト検出(COD)は、意図的に背景と混ざったオブジェクトをセグメント化するので、予測は微妙なテクスチャや境界の手がかりに依存する。 CODはデバイス上の厳格なメモリと遅延予算の下で必要となることが多く、低ビット推論を非常に望ましいものにしている。 しかし、CODは攻撃的な定量化が難しい。 重み付き背景トークンが共有活性化範囲を支配し、ステップサイズを膨らませ、弱いが構造的な境界キューをゼロビンに押し込む。 これはトークンローカルなボトルネックを露呈する -- クロストークン範囲の支配を排除し、4ビットのアクティベーションの下でゼロビン質量を束縛する。 そこで本研究では,COD-TDQ(Token-group Dual-Constraint activation Quantization法)を提案する。 Direct-Sum Token-Group (DSTG) はトークングループスケールを割り当て、クロストークン範囲の支配を抑え、Dual-Constraint Range Projection (DCRP) は各トークングループクリップ範囲をプロジェクションし、ステップ対分散比とゼロビン質量のバウンドを維持する。 4つのCODベンチマークと2つのベースラインモデル(CFRNとESCNet)の中で、COD-TDQは継続的にSαスコアを達成する。 コードはリリースされます。

関連論文リスト

• Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
  ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。 ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
  論文  参考訳（メタデータ） (2026-09-03T17:04:26Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• OSC: Hardware Efficient W4A4 Quantization via Outlier Separation in Channel Dimension [5.50723299083202]
  我々は、外乱抑制のためのハードウェア効率の良いフレームワークOSCを提案する。 OSCは非常にハードウェアフレンドリーで、現代のAIアクセラレーターのW8A8 GEMMベースラインよりも1.78倍のピーク速度を達成した。
  論文  参考訳（メタデータ） (2026-04-14T14:17:59Z)
• Bottleneck Tokens for Unified Multimodal Retrieval [16.707536543758344]
  マルチモーダル検索のためのデコーダのみのマルチモーダル大言語モデル(MLLM)の適用には、2つの構造的ギャップがある。 まず、既存のメソッドは暗黙のプーリングに依存しており、シーケンスレベルの表現として標準語彙トークンの隠れた状態をオーバーロードする。 第二に、コントラスト的な微調整は、埋め込みが一致すべきものを特定するが、どのように情報を圧縮すべきかについてのトークンレベルのガイダンスは提供しない。 本稿では,Bottleneck Tokens(BToks)を紹介した。これは,固定容量明示的なプール機構として機能する,学習可能なトークンの小さなセットである。
  論文  参考訳（メタデータ） (2026-04-13T07:12:12Z)
• Bit-by-Bit: Progressive QAT Strategy with Outlier Channel Splitting for Stable Low-Bit LLMs [34.72414661826396]
  我々は、外部チャネル分割を備えたプログレッシブQATフレームワークBit-by-Bitを提案する。 提案手法は,(1)精度を段階的に低下させるブロックワイド・プログレッシブ・トレーニング,(2)整数量子化格子のネスト構造,(3)ラウンドリング・アウェア・アウトリー・チャネル分割の3つの重要な要素を統合する。 W2A2設定下では、Bit-by-BitはBitDistillerやEfficientQATといったベースラインをLlama2/3で大幅に上回り、2.25 WikiText2 PPLの損失しか得られない。
  論文  参考訳（メタデータ） (2026-04-09T06:56:39Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。