論文の概要: Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents
- arxiv url: http://arxiv.org/abs/2607.27275v1
- Date: Wed, 29 Jul 2026 12:40:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.279955
- Title: Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents
- Title(参考訳): フラットスコア, 増幅故障: 量子化LDM剤における誤差予算マスクの損傷について
- Abstract要約: 密度とMoEの2つのモデルファミリの2ドルベンチでは、量子化は標準メートル法では自由に見える。
量子化は、モデルが既に示す失敗を最大2.5$times$の完全精度で増幅する。
目標とするエラー修正プロンプトは、正確度毎に5つの通信モデルで実行される。
- 参考スコア(独自算出の注目度): 19.600181756177303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Post-training quantization to 4-bit weights is widely reported to be nearly lossless. We test this claim for multi-turn, tool-calling agents, where it now matters most. On $τ^2$-bench, across two open-weight model families in dense and MoE variants and two domains (eight cells, 456 episodes each, at 16-, 8-, and 4-bit weights), quantization indeed looks free on the standard metric. No cell shows a score change that survives multiple-comparison correction, and in the cell that carries the largest process damage, equivalence testing bounds the change within $\pm$7.5 points. The process tells a different story. Quantization amplifies the failure the model already exhibits at full precision (tool-name hallucination in telecom, with the same directional trend in retail entity errors) by up to 2.5$\times$ in volume (+17.6 points per task), while creating essentially no new failures. The failure set is the same at every precision (rank correlation $\geq$ 0.94, 0.18% novel events). The score stays flat because the benchmark's ten-error budget absorbs the extra failures. Shrinking the budget to two errors re-exposes a score gap of 17 points, and it does so only in the one cell where quantization added error volume, exactly as the masking account predicts. A targeted error-repair prompt, run for five telecom models at every precision, removes the damage exactly and only where it lives. Both diagnostics, the per-channel error rate and success under a shrinking budget, come from logs benchmarks already collect; we suggest reporting them alongside task reward.
- Abstract(参考訳): トレーニング後の4ビット重みへの量子化は、ほとんどロスレスであると広く報告されている。
私たちはこの主張を、マルチターンのツール呼び出しエージェントに対してテストしています。
τ^2$-benchでは、密度とMoEの変種と2つの領域(8つのセル、456のエピソード、それぞれ16-、8-、および4-bitの重み)の2つのオープンウェイトモデルファミリをまたいで、量子化は標準メートル法では確かに自由に見える。
多重比較補正に耐えるスコアの変化を示すセルはなく、最大のプロセス損傷を持つセルでは、同値テストは$\pm$7.5ポイントの範囲内で変更をバウンドする。
プロセスは別のストーリーを伝えます。
量子化は、既存のモデルが完全精度(テレコムのツール名幻覚、小売店のエラーと同じ方向の傾向)で示す障害を最大2.5$\times$(タスク当たり+17.6ポイント)まで増幅する。
失敗セットはすべての精度で同じである(ランク相関$\geq$ 0.94, 0.18%の新規イベント)。
ベンチマークの10エラー予算が余分な失敗を吸収するため、スコアはフラットのままです。
予算を2つのエラーに縮めると17ポイントのスコアギャップが再出力され、量子化がエラーボリュームを追加した1セルでのみ、マスキングアカウントが予測するように処理される。
目標とするエラー修正プロンプトは、正確度毎に5つの通信モデルで実行される。
診断、チャネル毎のエラー率、縮小予算による成功は、すでに収集されているログベンチマークから来ています。
関連論文リスト
- Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳(メタデータ) (2026-08-11T16:18:34Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳(メタデータ) (2026-07-15T17:16:24Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳(メタデータ) (2026-07-14T02:08:33Z) - PAEMS: Precise and Adaptive Error Model for Superconducting Quantum Processors [6.599826548609388]
本稿では,正確かつ適応的な量子ビット誤りモデルであるPAEMSを紹介する。
IBMのQPUの実験では、19.5$times$, 9.3$times$, 5.2$times$ reduce in timelike, spacelike, and spacetime error correlationが示されている。
また、GoogleのSI$71000エラーモデルの精度を、複数の量子プラットフォームで58$sim3%向上させる。
論文 参考訳(メタデータ) (2026-03-31T08:46:18Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳(メタデータ) (2025-09-12T16:51:15Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳(メタデータ) (2024-11-07T18:59:58Z) - Demonstrating a long-coherence dual-rail erasure qubit using tunable transmons [59.63080344946083]
共振結合された一対のトランスモンからなる「デュアルレール量子ビット」が高コヒーレントな消去量子ビットを形成することを示す。
我々は、チェック毎に0.1%$ dephasingエラーを導入しながら、消去エラーの中間回路検出を実演する。
この研究は、ハードウェア効率の量子誤り訂正のための魅力的なビルディングブロックとして、トランスモンベースのデュアルレールキュービットを確立する。
論文 参考訳(メタデータ) (2023-07-17T18:00:01Z) - WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。
最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。
本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文 参考訳(メタデータ) (2022-11-13T09:56:24Z) - Suppressing quantum errors by scaling a surface code logical qubit [147.2624260358795]
複数のコードサイズにわたる論理量子ビット性能のスケーリングの測定について報告する。
超伝導量子ビット系は、量子ビット数の増加による追加誤差を克服するのに十分な性能を有する。
量子誤り訂正は量子ビット数が増加するにつれて性能が向上し始める。
論文 参考訳(メタデータ) (2022-07-13T18:00:02Z) - Exponential suppression of bit or phase flip errors with repetitive
error correction [56.362599585843085]
最先端の量子プラットフォームは通常、物理的エラーレートが10~3ドル近くである。
量子誤り訂正(QEC)は、多くの物理量子ビットに量子論理情報を分散することで、この分割を橋渡しすることを約束する。
超伝導量子ビットの2次元格子に埋め込まれた1次元繰り返し符号を実装し、ビットまたは位相フリップ誤差の指数的抑制を示す。
論文 参考訳(メタデータ) (2021-02-11T17:11:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。