論文の概要: Where Post-Training Quantization Breaks Text Embedders: A Measured Map Across Four Embedder Families

• arxiv url: http://arxiv.org/abs/2609.16391v1
• Date: Mon, 14 Sep 2026 21:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.252486
• Title: Where Post-Training Quantization Breaks Text Embedders: A Measured Map Across Four Embedder Families
• Title（参考訳）: 学習後の量子化がテキスト埋め込みを破る場所:4つの埋め込み家族間での測定マップ
• Abstract要約: ビット幅とグループサイズのグリッドにまたがる4つのアーキテクチャファミリから5つのチェックポイントを定量化する。 全ての証明は、前述の通り転送に失敗する。 安価な再構成プロキシは、均一なビット幅のスクリーニングに有用であるが、どのテンソルを保護するかを選択する上ではかなり信頼性が低い。
• 参考スコア（独自算出の注目度）: 2.8678936590409028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight-only post-training quantization is the cheapest way to shrink a retrieval embedder, and the received advice for applying it -- protect the embedding table, allocate bits by module sensitivity, prefer a ranking-aware objective over weight reconstruction -- was carried into LLM quantization largely intact. We test that advice on retrieval embedders directly, quantizing five checkpoints from four architecture families across a grid of bit widths and group sizes, and isolating the embedding, attention and feed-forward blocks at each width. Every heuristic fails to transfer as stated. The embedding table never emerges as the dominant isolated protection priority in any family, despite being the largest tensor in several of them. Module sensitivity does not survive as a transferable ordering: at INT4/g16 the spread between modules is too small to allocate against, at INT3 the ordering becomes family-dependent and joint damage stops being the sum of its parts, and at INT2 comparable reconstruction error accompanies retention ranging from 1.3 to 65.9 percent of full precision. A cheap reconstruction proxy is useful for screening uniform bit widths but substantially less reliable for choosing which tensors to protect; its apparent strength across the whole grid is a range-extension artifact. A distilled 109M student at INT3 holds 78.04 NDCG@10 in 68.4 MB and dominates the extreme-PTQ arm of its own 0.6B teacher, 297.9 MB at 64.46, on both size and quality -- but only inside the task it was distilled for. Sizes are byte counts of files that exist rather than arithmetic estimates, and the measurement repository carries the byte provenance for every one of them.
• Abstract（参考訳）: 軽量化後の量子化は、検索埋め込みを縮小する最も安価な方法であり、それを適用するための受け取ったアドバイスは、埋め込みテーブルを保護し、モジュールの感度でビットを割り当て、重量再構成よりもランク認識対象を優先する。 提案手法は,ビット幅とグループサイズのグリッドにまたがる4つのアーキテクチャファミリから5つのチェックポイントを定量化し,各幅の埋め込み,注意,フィードフォワードブロックを分離する。 すべてのヒューリスティックは、前述の通り転送に失敗する。 埋め込みテーブルは、どの家族でも支配的な孤立した保護優先事項として決して現れないが、いくつかの家庭では最大のテンソルである。 INT4/g16ではモジュール間の拡散が小さすぎるため、INT3では命令が家族依存となり、共同損傷は部品の合計で停止し、INT2では1.3から65.9%の完全精度で保持される。 安価な再構成プロキシは均一なビット幅のスクリーニングに有用であるが、どのテンソルを保護するかを選択するには信頼性が著しく低い。 INT3の蒸留109Mの学生は68.4 MBで78.04 NDCG@10を保有し、64.46で0.6Bの教師297.9 MBの極端なPTQの腕を支配している。 サイズは算術的な推定ではなく存在するファイルのバイト数であり、測定リポジトリは各ファイルのバイト証明を格納する。

関連論文リスト

• Scaling Post-Training Ternarisation to Qwen3-8B Capability Retention, Reproduction, Lossless Packing, and Packed Execution [0.0]
  本研究では,Qwen3-4BからQwen3-8Bへのアグレッシブ後変換パイプラインのスケールアップについて検討する。 この変換では、KOTMS回転、E2M-ATQ適応三元化、重量のみのA16構成でのGPTQスタイルの誤り補償が使用される。
  論文  参考訳（メタデータ） (2026-09-08T06:21:44Z)
• RedKnot-MLA: Multi-Head Offline-Online Reuse for DeepSeek-V4 Long-Context Serving [30.406836978404403]
  マルチヘッド潜時注意(MLA)は、複数の論理的クエリヘッドを1つの満載の潜時KVストリームを通じて公開する。 我々はRedKnotのヘッドアウェア再利用原理をDeepSeek-V4で実現したシステムを提案する。
  論文  参考訳（メタデータ） (2026-09-07T03:59:33Z)
• Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment [0.0]
  ウルトラロービット言語モデルは、ストレージとメモリ帯域幅を削減できるが、名目上の"1.58ビット"ラベルは、格納された表現、保持機能、実行時の動作を完全に記述していない。 KOTMS回転,E2M-ATQ三元化,およびTWLAからのGPTQスタイルの誤り補償を用いた4B-パラメータモデルQwenの終端学習後変換について検討した。 有効ビット会計,タスク能力保持,複雑度,キャリブレーション感度,チェックポイント構成,デプロイメント動作を評価した。
  論文  参考訳（メタデータ） (2026-09-02T00:42:54Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
  この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。 我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。 すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
  論文  参考訳（メタデータ） (2026-08-09T20:53:47Z)
• Wiring Beats Blending: What Transfers Between Transformer Sizes -- and What Doesn't [0.0]
  Wecharacterize the 1.4B->410M conversion in the Pythia family end to end。 重量の残留物は、ノイズアンダーシャッフル制御と統計的に区別できない。 補償は普遍的よりもトークン効率が高く低予算の勝利である。
  論文  参考訳（メタデータ） (2026-08-03T19:44:08Z)
• RAMP: Reinforcement Adaptive Mixed Precision Quantization for Efficient On Device LLM Inference [1.1100764382749708]
  RAMP (Reinforcement Adaptive Mixed Precision) は、グローバルビット予算の下でパープレキシティを最小限に抑えるために、層幅の割り当て毎に学習する。 Llama 2 7Bでは、RAMPは3.68GB (3.65 ビット)で5.54パープレキシティを実現し、均一な4ビット AWQ (5.60 ビット、3.90 GB)と GPTQ を6%、品質は1%から3%向上した。
  論文  参考訳（メタデータ） (2026-03-18T16:16:28Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers [76.30674794049293]
  本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。 具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。 重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
  論文  参考訳（メタデータ） (2020-08-12T06:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。