論文の概要: Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment

• arxiv url: http://arxiv.org/abs/2603.00042v1
• Date: Mon, 09 Feb 2026 05:45:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.986976
• Title: Maximizing the Spectral Energy Gain in Sub-1-Bit LLMs via Latent Geometry Alignment
• Title（参考訳）: 潜時形状アライメントによるサブ-1ビットLCMのスペクトルエネルギーゲインの最大化
• Authors: Banseok Lee, Youngmin Kim,
• Abstract要約: 極端モデル圧縮におけるスペクトルエネルギー利得を同定する。 低ランク二乗近似は、重尾スペクトルに対する小ランク浮動小数点基底線より優れている。 内部ラテント回転とジョイント反復量子化を用いたLittleBit-2を提案する。
• 参考スコア（独自算出の注目度）: 7.937541037762969
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We identify the Spectral Energy Gain in extreme model compression, where low-rank binary approximations outperform tiny-rank floating-point baselines for heavy-tailed spectra. However, prior attempts fail to realize this potential, trailing state-of-the-art 1-bit methods. We attribute this degradation to Latent Geometry Misalignment: standard singular vectors exhibit high coherence (spiky distribution), the worst-case geometry for binary quantization. To realize this gain, we propose LittleBit-2, a framework employing Internal Latent Rotation and Joint Iterative Quantization (Joint-ITQ). This approach acts as a geometric preconditioner, aligning coherent latent distributions with the binary hypercube with zero inference overhead. Empirically, LittleBit-2 establishes a new state-of-the-art in the sub-1-bit regime (1$\sim$0.1 bpp) on Llama-2 and Llama-3, matching the fidelity of leading 1-bit baselines.
• Abstract（参考訳）: 極大モデル圧縮ではスペクトルエネルギーゲインが同定され、低ランク二乗近似は重尾スペクトルに対して小さなランク浮動小数点基底線より優れている。 しかし、以前の試みは、最先端の1ビットメソッドを追従して、この可能性を実現することができなかった。 標準特異ベクトルは、二項量子化の最悪のケース幾何学である高コヒーレンス(スパイク分布)を示す。 そこで我々はLittleBit-2を提案する。これは内部ラテント回転とジョイント反復量子化(Joint-ITQ)を用いたフレームワークである。 このアプローチは幾何プレコンディショナーとして機能し、コヒーレントな潜伏分布と二乗ハイパーキューブをゼロ推論オーバーヘッドで整列する。 実験的に、LittleBit-2はLlama-2とLlama-3のサブ1ビット状態(1$\sim$0.1 bpp)において新しい最先端技術を確立し、1ビットベースラインの忠実さと一致する。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Compact Circulant Layers with Spectral Priors [1.5755923640031846]
  医療、ロボティクス、自律システムなどの分野における重要な応用には、コンパクトな(メモリ効率のよい)ニューラルネットワークが必要である。 本研究では, コンパクトなスペクトル循環器およびブロック循環器(BCCB)層について検討した。
  論文  参考訳（メタデータ） (2026-02-25T14:48:25Z)
• An Information-Minimal Geometry for Qubit-Efficient Optimization [0.0]
  量子ビット効率の最適化を幾何学的問題として再検討する。 局所一貫性問題は、Sherali-Adams level-2 polytope $mathrmSA(2)$とちょうど一致する。
  論文  参考訳（メタデータ） (2025-11-11T15:38:57Z)
• Orthogonal Constrained Minimization with Tensor $\ell_{2,p}$ Regularization for HSI Denoising and Destriping [9.158391874035011]
  ハイパースペクトル画像(HSI)は、ガウスノイズ、デッドライン、ストライプなどのようなノイズの混合によって汚染されることが多い。 マルチスケール低ランクテンソル正規化セル_2,p$アプローチを提案する。 提案するMLTL2p法は,平均ピーク信号-雑音比や視覚的品質といった指標を用いて,性能を実証する。
  論文  参考訳（メタデータ） (2024-07-04T03:33:19Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
  本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。 我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。 シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-08T11:48:46Z)
• Quantum Error Correction with Gauge Symmetries [69.02115180674885]
  Lattice Gauge Theories (LGT) の量子シミュレーションは、物理セクターと非物理セクターの両方を含む拡大されたヒルベルト空間上でしばしば定式化される。 本稿では,位相フリップ誤り訂正符号とガウス法則を組み合わせることで,そのような冗長性を利用する簡易なフォールトトレラント法を提案する。
  論文  参考訳（メタデータ） (2021-12-09T19:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。