論文の概要: More Than Bits: Multi-Envelope Double Binary Factorization for Extreme Quantization

• arxiv url: http://arxiv.org/abs/2512.24545v1
• Date: Wed, 31 Dec 2025 01:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.523395
• Title: More Than Bits: Multi-Envelope Double Binary Factorization for Extreme Quantization
• Title（参考訳）: ビットを超える:超量子化のためのマルチエンベロープ二重二元因子化
• Abstract要約: 本稿では,1ビットの符号ベースを共有するマルチエンベロープDBF(MDBF)を提案する。 MDBFはバイナリキャリアを効果的に維持し、メモリ予算を極大に制限している。 LLaMAおよびQwenファミリ全体で、MDBFは、1重あたりの一致ビットで以前のバイナリフォーマットよりも難易度とゼロショットの精度を高める。
• 参考スコア（独自算出の注目度）: 5.790458475928127
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For extreme low-bit quantization of large language models (LLMs), Double Binary Factorization (DBF) is attractive as it enables efficient inference without sacrificing accuracy. However, the scaling parameters of DBF are too restrictive; after factoring out signs, all rank components share the same magnitude profile, resulting in performance saturation. We propose Multi-envelope DBF (MDBF), which retains a shared pair of 1-bit sign bases but replaces the single envelope with a rank-$l$ envelope. By sharing sign matrices among envelope components, MDBF effectively maintains a binary carrier and utilizes the limited memory budget for magnitude expressiveness. We also introduce a closed-form initialization and an alternating refinement method to optimize MDBF. Across the LLaMA and Qwen families, MDBF enhances perplexity and zero-shot accuracy over previous binary formats at matched bits per weight while preserving the same deployment-friendly inference primitive.
• Abstract（参考訳）: 大規模言語モデル(LLM)の極端に低ビット量子化のためには、精度を犠牲にすることなく効率的な推論を可能にするため、DBF(Double Binary Factorization)が魅力的である。 しかし、DBFのスケーリングパラメータはあまりに制限的であり、符号を分解した後、すべてのランクコンポーネントは同じ大きさのプロファイルを共有し、パフォーマンスが飽和する。 本稿では,1ビットの符号ベースを共有するマルチエンベロープDBF(MDBF)を提案する。 封筒コンポーネント間で符号行列を共有することで、MDBFはバイナリキャリアを効果的に維持し、メモリ予算を極大表現性のために利用する。 また、MDBFを最適化するクローズドフォーム初期化法と交互改質法も導入する。 LLaMAとQwenファミリ全体で、MDBFは、同じデプロイメントフレンドリーな推論プリミティブを保ちながら、1重あたりの一致したビットで、以前のバイナリフォーマットよりも難易度とゼロショットの精度を高める。

関連論文リスト

• BitNet Text Embeddings [104.29781473344813]
  BITEMBEDは,符号化効率とベクトル記憶を両立させるLLMベースのテキスト埋め込みのための極低ビットフレームワークである。 BITEMBEDは、トレーニング済みのLLMバックボーンを3次重み、量子化アクティベーション、軽量な正規化改善を備えたBitNetスタイルの埋め込みエンコーダに変換する。 Qwen3-0.6B と Gemma703-2M を用いた MMTEB (eng) の実験では、BITEMBED は完全精度の教師埋め込み器とほぼ同等であることが示された。
  論文  参考訳（メタデータ） (2026-06-24T10:37:01Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
  textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。 textbfLow-rank textbfParameter textbfMerging (textbfLPM)
  論文  参考訳（メタデータ） (2026-04-15T15:57:23Z)
• Deterministic Differentiable Structured Pruning for Large Language Models [37.33389749907146]
  構造化プルーニングは、重要度の低いアーキテクチャ部品を取り除き、LLM推論コストを削減する。 マスクのみの最適化手法であるDDP(Deterministic Differentiable Pruning)を提案する。 従来のアプローチと比較して、DDPはより表現力が高く、テストミスマッチが減少し、より早く収束する。
  論文  参考訳（メタデータ） (2026-03-09T07:59:17Z)
• SFMP: Fine-Grained, Hardware-Friendly and Search-Free Mixed-Precision Quantization for Large Language Models [4.269807933198402]
  混合精度量子化(Mixed-precision Quantization)は、強いメモリ予算の下で大きな言語モデルを圧縮するための有望なアプローチである。 本研究では,大規模言語モデルを対象とした検索自由かつハードウェアフレンドリな混合精度量子化フレームワークであるSFMPを提案する。
  論文  参考訳（メタデータ） (2026-02-01T05:24:19Z)
• DP-FEDSOFIM: Differentially Private Federated Stochastic Optimization using Regularized Fisher Information Matrix [0.0611737116137921]
  DP-FLは、プライバシーを守るために導入された圧倒的なノイズのために、厳格なプライバシー予算の下で緩やかな収束に苦しむ。 本稿では,サーバサイドの2次最適化フレームワークであるDP-FedSOFIMを提案する。 分析の結果,サーバサイドのプレコンディショニングは後処理定理によって(エプシロン,デルタ)差分プライバシーを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-14T05:11:28Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
  大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。 リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。 この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
  論文  参考訳（メタデータ） (2025-11-06T02:55:07Z)
• Efficient and Privacy-Preserving Binary Dot Product via Multi-Party Computation [4.336006969179338]
  本稿ではビットワイド演算のための新しいバイナリマルチパーティ計算(BiMPC)フレームワークを提案する。 BiMPCの中核はDot Product via Modular Addition (DoMA)と呼ばれる新しいアプローチである。 BiMPCフレームワークのプライバシー保証は厳格に分析され、分散環境での効率性とスケーラビリティを示している。
  論文  参考訳（メタデータ） (2025-10-18T03:35:42Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Addition is almost all you need: Compressing neural networks with double binary factorization [0.0]
  二重二元因子化(DBF)は、密度重み行列を2つの二元行列の積に分解する新しい方法である。 DBFは2値表現の効率性を保ちつつ、最先端の手法と競合する圧縮率を達成する。 重量あたりの2ビットでは、DBFはQuIP#やQTIPのような最高の量子化手法と競合する。
  論文  参考訳（メタデータ） (2025-05-16T10:07:36Z)
• BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
  本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。 BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
  論文  参考訳（メタデータ） (2025-02-01T06:34:55Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• Improving Misaligned Multi-modality Image Fusion with One-stage Progressive Dense Registration [67.23451452670282]
  多モード画像間の相違は、画像融合の課題を引き起こす。 マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。 このスキームは、一段階最適化のみで粗大な登録を行う。
  論文  参考訳（メタデータ） (2023-08-22T03:46:24Z)
• Towards A Unified View of Sparse Feed-Forward Network in Pretraining Large Language Model [58.9100867327305]
  大規模かつスパースなフィードフォワード層(S-FFN)は、大きな言語モデルをテキスト処理するためにTransformersモデルのサイズをスケールアップするのに有効であることが証明されている。 我々は,S-FFNの2つの主要な設計選択,すなわち,メモリブロックのサイズとメモリブロックの選択方法について分析した。 言語モデルの事前学習において,より単純な選択方法である textbftextttAvg-K が得られた。
  論文  参考訳（メタデータ） (2023-05-23T12:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。