論文の概要: The Quantization Trap: Breaking Linear Scaling Laws in Multi-Hop Reasoning

• arxiv url: http://arxiv.org/abs/2602.13595v1
• Date: Sat, 14 Feb 2026 04:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.227562
• Title: The Quantization Trap: Breaking Linear Scaling Laws in Multi-Hop Reasoning
• Title（参考訳）: 量子化のトラップ:マルチホップ推論における線形スケーリング法則を破る
• Authors: Henry Han, Xiyang Liu, Xiaodong Wang, Fei Han, Xiaodong Li,
• Abstract要約: このスケーリング法則がマルチホップ推論の文脈で破れることを実証する。 16ビットから8/4ビットまで精度を低下させる「量子化トラップ」は、推理精度を劣化させながら、パラドックス的にネットエネルギー消費を増大させる。
• 参考スコア（独自算出の注目度）: 10.91558162376728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural scaling laws provide a predictable recipe for AI advancement: reducing numerical precision should linearly improve computational efficiency and energy profile (E proportional to bits). In this paper, we demonstrate that this scaling law breaks in the context of multi-hop reasoning. We reveal a 'quantization trap' where reducing precision from 16-bit to 8/4-bit paradoxically increases more net energy consumption while degrading reasoning accuracy. We provide a rigorous theoretical decomposition that attributes this failure to hardware casting overhead, the hidden latency cost of dequantization kernels, which becomes a dominant bottleneck in sequential reasoning chains, as well as to a sequential energy amortization failure. As a result, scaling law breaking is unavoidable in practice. Our findings suggest that the industry's "smaller-is-better" heuristic is mathematically counterproductive for complex reasoning tasks.
• Abstract（参考訳）: 数値精度の低減は、計算効率とエネルギープロファイル(ビットに比例する)を線形的に改善するべきである。 本稿では,このスケーリング法則がマルチホップ推論の文脈で破れることを実証する。 16ビットから8/4ビットまで精度を低下させる「量子化トラップ」は、推理精度を劣化させながら、パラドックス的にネットエネルギー消費を増大させる。 我々は、この故障をハードウェアキャスティングオーバーヘッド、復号化カーネルの隠れ遅延コスト、シーケンシャルな推論チェーンにおける主要なボトルネック、およびシーケンシャルなエネルギ・アモーティゼーションの失敗に起因した厳密な理論的分解を提供する。 結果として、法律の破れは実際には避けられない。 以上の結果から, 産業の「より小さい」ヒューリスティックは, 複雑な推論タスクに対して数学的に反生産的であることが示唆された。

関連論文リスト

• Effective Frontiers: A Unification of Neural Scaling Laws [19.808117554175013]
  本稿では,学習課題を長期分布(Zipfian)のパターンのプログレッシブカバレッジとして抽象化する統合フレームワークを提案する。 我々は、$N$、$D$、$C$の正確なスケーリング法則を導き、それらがキャパシティ、カバレッジ、最適化のボトルネックに起因する。
  論文  参考訳（メタデータ） (2026-02-01T10:44:46Z)
• ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
  大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。 本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T01:26:30Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• Compute-Optimal LLMs Provably Generalize Better With Scale [102.29926217670926]
  我々は,大規模言語モデル(LLM)の事前学習目標に基づく一般化境界を開発する。 損失関数の分散を考慮し, 既存の境界を緩める, 完全経験的フリードマン型マルティンゲール濃度を導入する。 我々は一般化ギャップのスケーリング法則を作成し、その境界はスケールによって予測的に強くなる。
  論文  参考訳（メタデータ） (2025-04-21T16:26:56Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• Non-convex Bayesian Learning via Stochastic Gradient Markov Chain Monte Carlo [4.656426393230839]
  人工知能(AI)の台頭は、非トリップと不確実性のための現代のディープニューラルネットワーク(DNN)の効率性を重視している。 本論文ではモンテカルロ利用問題を扱うためのツールを提案する。 また,基礎となる正規方程式(ODE)システムに対する2つの動的重要度サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:25:11Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Truncated phase-based quantum arithmetic: error propagation and resource reduction [0.0]
  我々はドレイパー量子フーリエ加算器を改良し、小角回転を高粗いレベルに除去する。 継承された忠実さの損失は、サブルーチン内の搬送ビットと借入ビットの比率によって直接与えられることを示す。 意外なことに、707ドルの量子フーリエ変換はそれぞれ$pi/64$に切り詰められ、加法回転はわずかに微妙にしか残っていない。
  論文  参考訳（メタデータ） (2021-10-01T05:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。