論文の概要: Rotation Is Token-Blind: A Structural Criterion for Post-Training Quantization of Feed-Forward Geometry Transformers

• arxiv url: http://arxiv.org/abs/2611.07955v1
• Date: Thu, 05 Nov 2026 12:53:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.689805
• Title: Rotation Is Token-Blind: A Structural Criterion for Post-Training Quantization of Feed-Forward Geometry Transformers
• Title（参考訳）: 回転はToken-Blind:フィードフォワード幾何変換器のトレーニング後量子化のための構造的基準
• Abstract要約: 本稿では,構造化されたポストトレーニング量子化フレームワークQMapAnythingを提案する。 W4A8は実ハードウェア上での完全精度性能と密に一致している。 これらの結果は、資源制約されたエッジにフィードフォワード3次元再構成モデルを配置するための、原則的かつ効率的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 15.705905807251426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feed-forward 3D models use Transformers to predict camera poses, depth, and structure in one pass, avoiding iterative multi-view optimization. Long sequences and deep attention incur high compute and memory costs, motivating Post-Training Quantization (PTQ) for deployment. Existing PTQ methods mainly suppress channel-wise outliers by smoothing or orthogonal rotation. Geometry Transformers introduce a different challenge: heterogeneous token types share one activation quantization grid. A few special tokens may exert high leverage over global outputs and be updated by only a subset of blocks. Token-blind transforms, which apply the same transformation to every token, reduce overall quantization error but cannot remove differentiated degradation across token types. We propose QMapAnything, a structure-aware PTQ framework. We cast floating-point-preserving rotation and smoothing as a token-blind reparameterization group, and prove that they yield common-mode gains while leaving relative token SNR unchanged. We introduce a statistic $Γ$ that combines a special token's quantization disadvantage and output leverage to predict whether differentiated bias correction is needed beyond rotation. Experiments on geometric benchmarks show that W4A8 closely matches full-precision performance. Under W8A8, peak memory falls by $2.2$--$3.1\times$ versus FP32, with up to $3.1\times$ speedup on real hardware. These results provide a principled and efficient approach to deploying feed-forward 3D reconstruction models in resource-constrained edges.
• Abstract（参考訳）: フィードフォワード3Dモデルは、トランスフォーマーを使用して、カメラのポーズ、深さ、構造を1パスで予測し、反復的なマルチビュー最適化を避ける。 長いシーケンスと深い注意は高い計算とメモリコストをもたらし、デプロイのためにPTQ(Post-Training Quantization)を動機付けます。 既存のPTQ法は主に、円滑化や直交回転によってチャネルワイドの外れ値を抑制する。 ヘテロジニアストークン型は1つのアクティベーション量子化グリッドを共有する。 いくつかの特別なトークンは、グローバルな出力に対して高いレバレッジを発揮でき、ブロックのサブセットだけによって更新される。 トークン毎に同じ変換を適用するToken-blind変換は、全体的な量子化誤差を減少させるが、トークンタイプ間の差分分解を除去することはできない。 構造対応PTQフレームワークQMapAnythingを提案する。 本研究では, 浮動小数点保存回転と平滑化をトークン盲検群とし, 相対トークンSNRをそのまま残しながら共通モードゲインが得られることを示した。 特殊トークンの量子化不備と出力レバレッジを組み合わせて、微分バイアス補正が回転を超えて必要かどうかを予測する統計学的なドルが導入された。 幾何ベンチマークの実験では、W4A8は完全精度の性能と密接に一致している。 W8A8では、ピークメモリは2.2$--3.1\times$対FP32で、実際のハードウェアでは最大3.1\times$スピードアップとなる。 これらの結果は、資源制約されたエッジにフィードフォワード3次元再構成モデルを配置するための、原則的かつ効率的なアプローチを提供する。

関連論文リスト

• KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers [42.11461757540461]
  拡散変圧器(DiT)からW4A4への後処理量子化は出力品質を著しく低下させる。 KroQuantは、学習されたKronecker構造を持つ可逆変換をアクティベーションの各32要素ブロックに適用するPTQ手法である。
  論文  参考訳（メタデータ） (2026-07-23T15:52:20Z)
• AdaHOP: Fast and Accurate Low-Precision Training via Outlier-Pattern-Aware Rotation [11.070767185562817]
  低い精度のトレーニングでは、アダマール変換を用いて外れ値を抑制し、量子化誤差を軽減する。 従来の方法では、テンソルにまたがる外部構造にかなりの変化があるにもかかわらず、固定変換を均一に適用していた。 我々は,この戦略が根本的に欠陥があることを示し,AdaHOPを提案する。
  論文  参考訳（メタデータ） (2026-04-02T21:24:15Z)
• Quantized Visual Geometry Grounded Transformer [67.15451442018258]
  本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。 球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。 また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
  論文  参考訳（メタデータ） (2025-09-25T15:17:11Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。