論文の概要: Reasoning-Aware Compression: Identifying and Protecting Vulnerable Reasoning Circuits for Energy-Efficient LLM Deployment

• arxiv url: http://arxiv.org/abs/2609.05512v1
• Date: Mon, 31 Aug 2026 08:36:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.077515
• Title: Reasoning-Aware Compression: Identifying and Protecting Vulnerable Reasoning Circuits for Energy-Efficient LLM Deployment
• Title（参考訳）: 推論型圧縮:エネルギー効率の良いLCM展開のための可変共振回路の同定と保護
• Abstract要約: 大規模推論モデル(LRM)は、展開中にかなりのエネルギーコストを課す。 現在の圧縮法は、全ての成分に対して均一な量子化を適用し、臨界推論回路の損傷を危険にさらす。 5つの推論ベンチマークで量子化条件をベンチマークする推論対応圧縮フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.570863502498336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) impose substantial energy costs during deployment, yet current compression methods apply uniform quantization across all components, risking damage to critical reasoning circuits. We present a reasoning-aware compression framework that benchmarks quantization conditions across five reasoning benchmarks, GSM8K, FOLIO, MATH-500, ProofWriter, and MuSiQue, with hardware-level GPU energy measurement; profiles per-module INT4 vulnerability across all 196-224 (layer, projection) pairs via a perturbation sweep on a held-out calibration split, then selectively restores the most sensitive circuits to FP16. Three findings emerge. First, INT4 quantization can increase energy by extending reasoning chains; a 25% power reduction becomes a net energy increase on GSM8K. Second, vulnerability is task-dependent: attention projections are more critical for mathematical reasoning, and sensitivity patterns differ by architecture in logical inference. Third, selective compression achieves Pareto-optimal points inaccessible to uniform methods: R1-Qwen-7B Top-10% on ProofWriter gains +12 pp over FP16 at -9.7% energy, validated on held-out data across five reasoning benchmarks.
• Abstract（参考訳）: 大規模共振モデル (LRM) は展開中に相当なエネルギーコストを課すが、現在の圧縮法では全ての部品に均一な量子化を適用し、臨界推論回路に損傷を与える。 GSM8K, FOLIO, MATH-500, ProofWriter, MuSiQue, ハードウェアレベルのGPUエネルギー測定, モジュールごとのプロファイル INT4の脆弱性は、保持されたキャリブレーションスプリット上の摂動スイープを介して全ての196-224(層、投影)ペアにまたがって、最も機密性の高い回路を選択的にFP16に復元する。 3つの発見がある。 まず、INT4量子化は推論鎖を拡張してエネルギーを増やすことができ、25%の電力還元はGSM8K上のエネルギーの純増加となる。 第二に、脆弱性はタスク依存であり、注意投影は数学的推論においてより重要であり、感度パターンは論理的推論においてアーキテクチャによって異なる。 R1-Qwen-7B ProofWriterのTop-10%はFP16よりも9.7%のエネルギーで、5つの推論ベンチマークで保留データを検証している。

関連論文リスト

• Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
  多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した 我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。 デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
  論文  参考訳（メタデータ） (2026-08-02T20:41:33Z)
• A Theoretical Framework for Energy-Aware Gradient Pruning in Federated Learning [0.0]
  フェデレートラーニング(FL)は、分散エッジデバイスの通信とエネルギー制限によって制約される。 本稿では,パラメータの更新を物理コストに応じて優先順位付けする選択規則であるCWMP(Cost-Weighted Magnitude Pruning)を提案する。 非IIDAR-10ベンチマークの数値結果は、CWMPがTop-Kベースラインよりも優れたパフォーマンス・エネルギ・フロンティアを一貫して確立していることを示している。
  論文  参考訳（メタデータ） (2026-03-23T18:31:07Z)
• Compression Method Matters: Benchmark-Dependent Output Dynamics in LLM Prompt Compression [0.0]
  本稿では,アグレッシブ圧縮下でのベンチマーク依存出力ダイナミクスの再現と拡張について述べる。 我々は、タスククリティカルなプロンプトセグメントが停止後に残るかどうかをキャプチャする構造的指標である命令生存確率(Psi)を定式化する。 クロスベンチマーク評価のための圧縮ロバストネス指数(CRI)を導入し、シングルベンチマーク評価が圧縮安全性と効率について誤解を招く結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-03-06T22:39:27Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• Energy-Efficient Multi-LLM Reasoning for Binary-Free Zero-Day Detection in IoT Firmware [5.485965161578769]
  静的解析、シンボリック実行、ファジィングといった既存の分析手法は、バイナリ可視性や機能的エミュレーションに依存している。 本稿では,高レベルの記述子のみを用いて,概念的ゼロデイ脆弱性の可能性を推定する,バイナリフリーでアーキテクチャに依存しないソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-23T00:34:50Z)
• Energy Scaling Laws for Diffusion Models: Quantifying Compute and Carbon Emissions in Image Generation [50.21021246855702]
  本稿では,計算複雑性(FLOP)に基づく拡散モデルに対するGPUエネルギー消費予測のためのKaplanスケーリング法の適用法を提案する。 提案手法は, テキストエンコーディング, 反復的復号化, 復号化コンポーネントへの拡散モデル推論を分解し, 複数の推論ステップをまたいだ繰り返し実行により, 演算の復号化がエネルギー消費を支配しているという仮説を導いた。 この結果は拡散予測の計算バウンドの性質を検証し、持続可能なAIデプロイメント計画と炭素フットプリント推定の基礎を提供する。
  論文  参考訳（メタデータ） (2025-11-21T08:12:47Z)
• CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization [5.857877898558651]
  CoT(Chain-of-Thought)推論は、大規模言語モデル(LLM)の問題解決能力を高めるが、かなりの推論オーバーヘッドをもたらす。 本稿では、適応的推論要約フレームワークを用いて、異なるスケールとアーキテクチャのモデル間での効率的なCoT転送について検討する。
  論文  参考訳（メタデータ） (2025-11-07T22:35:31Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• Learning to Rank Chain-of-Thought: Using a Small Model [77.75522308463667]
  本稿では、この課題に対処するために設計された高効率で軽量な検証器であるEORM(Energy Outcome Reward Model)を紹介する。 EORMはエネルギーベースのフレームワークを使用してChain-of-Thought(CoT)ソリューションをランク付けし、単純な結果ラベルだけで誤った推論と正しく区別することを学ぶ。 55Mのパラメータだけで、通常の報酬モデルより127倍以上小さいEORMは、Llama 3 8Bの精度をGSM8kで90.7%、MATHで63.7%に向上させた。
  論文  参考訳（メタデータ） (2025-05-21T01:06:29Z)
• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• When Reasoning Meets Compression: Understanding the Effects of LLMs Compression on Large Reasoning Models [18.37440002326957]
  本研究では,大推理モデルの推理能力が圧縮時にいかに損なわれるかを検討する。 我々は4つの推論データセット上で、定量化、蒸留、刈り取られたDeepSeek-R1モデルをベンチマークした。 全体として、動的量子化 2.51 ビット R1 が R1 に近い性能に達する。
  論文  参考訳（メタデータ） (2025-04-02T05:17:46Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。