論文の概要: Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs

• arxiv url: http://arxiv.org/abs/2610.07781v1
• Date: Tue, 06 Oct 2026 05:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.824002
• Title: Quantization Effects on Tool-Failure Recovery Vary Across Prompts and Evaluation Designs
• Title（参考訳）: 工具損傷回復弁のプロンプト内における量子化効果と評価設計
• Abstract要約: トレーニング後の量子化は、言語モデルエージェントのデプロイコストを低減しますが、一時的なツール障害からのリカバリへの影響は、リカバリがどのように評価されるかによって異なります。 Llama-3.1-8B-InstructとQwen2.5-7B-Instructの8ビット版と4ビット版を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization reduces the cost of deploying language-model agents, but its effect on recovery from temporary tool failures can depend on how recovery is evaluated. We compare 8-bit and 4-bit variants of Llama-3.1-8B-Instruct and Qwen2.5-7B-Instruct on twenty deterministic tool-use tasks and five prompts. The 8-bit-4-bit recovery comparison changes direction across prompts and evaluation targets. On tasks that both variants complete without faults under the same prompt, the difference ranges from 0 to +20.2 percentage points for Llama and from -50.0 to +35.0 points for Qwen. Full-pipeline point estimates favor 8-bit Llama under all five prompts, whereas the Qwen comparison changes direction across prompts. The evaluation target can also reverse the result. For Llama under one prompt, scoring each variant only on its own clean-passing tasks favors 4-bit by 17.5 points; scoring the same tasks for both variants gives no difference, while scoring the full pipeline favors 8-bit by 28.3 points. Executor leniency is a third such choice. Rescoring the same logs with strict output parsing, which 8-bit Llama violates far more often than 4-bit Llama under that prompt, turns that +28.3 into -15.0 while leaving Qwen essentially unchanged. These findings show that one prompt, one screened task set, and one scoring policy do not establish a stable conclusion about quantized-agent robustness. Evaluations should compare variants on matched tasks, report full-pipeline success for deployment decisions, state the scoring policy, and quantify uncertainty across tasks rather than injected fault sites.
• Abstract（参考訳）: トレーニング後の量子化は、言語モデルエージェントのデプロイコストを低減しますが、一時的なツール障害からのリカバリへの影響は、リカバリがどのように評価されるかによって異なります。 Llama-3.1-8B-InstructとQwen2.5-7B-Instructの8ビット版と4ビット版を比較した。 8ビット4ビットリカバリ比較は、プロンプトと評価対象間の方向を変える。 両方の変種が同じプロンプトの下で障害なく完了するタスクでは、差はLlamaの0から+20.2ポイント、Qwenの50.0から+35.0ポイントまで様々である。 フルピペリン点推定は5つのプロンプトのすべてで8ビットのラマを好むが、Qwenの比較はプロンプトの方向を変える。 評価対象は結果の反転も可能である。 Llamaの場合、1つのプロンプトで各変種をクリアパスするタスクのみにスコア付けすると4ビットが17.5ポイント、両方の変種で同じタスクをスコア付けしても差はないが、パイプライン全体のスコア付けは8ビットが28.3ポイントである。 執行官の寛容さは3番目の選択肢である。 8ビットのLlamaが4ビットのLlamaよりもはるかに頻繁に違反する厳密な出力解析で同じログを再現すると、+28.3 は Qwen をそのままにして -15.0 に変換される。 これらの結果は,1つのプロンプト,1つのスクリーニングされたタスクセット,および1つのスコアリングポリシが,量子化エージェントの堅牢性に関する安定した結論を定めていないことを示している。 評価は、一致したタスクのバリエーションを比較し、デプロイメント決定の完全な成功を報告し、スコアリングポリシを報告し、障害サイトを注入するのではなく、タスク間の不確実性を定量化するべきである。

関連論文リスト

• Compromise Is Not Consequence: Evaluating Task-Scoped Authorization in LLM Agents with Paired Replay [0.0]
  タスクスコープによる認証には,ツールの実行結果が含まれているかを検討する。 ペア化されたリプレイテストベッドはモデル要求を一度サンプリングし、同じアクション、リソース、引数を広義のJWT、送信者制限、オープンポリシーエージェントの条件に送信します。
  論文  参考訳（メタデータ） (2026-10-05T05:47:08Z)
• Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
  大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:54:16Z)
• Predict Before You Deploy: Offline Prediction of Quantization-Induced Task Degradation for World Action Models [2.347191837057308]
  トレーニング後の量子化はメモリを削減するが、ビット幅、グループ化、および量子化器の選択は大きな構成空間を定義する。 オフライン動作偏差から量子化によるタスク劣化を予測するためのポリシ校正フレームワークであるPreDEを提案する。 独立に調整された2つのポリシーに対する450のフランカ・リサーチ3の試験では、試験前に高分解能グループに割り当てられた全ての構成が著しく劣化した。
  論文  参考訳（メタデータ） (2026-09-16T21:25:37Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs [0.23438564092609357]
  プロアクティブ干渉(英: Proactive interference, PI)は、大規模言語モデルにおける文書化された障害モードであり、繰り返し上書きされた値の検索は、事前上書きが蓄積されるにつれて劣化する。 PTQは現在、オープンウェイトモデルのデフォルトのデプロイメントパスとなっているが、この障害モードへの影響はテストされていない。 アーキテクチャ的に異なる3つの命令調整モデルの3つの精度レベル(FP16, INT8, INT4/NF4, ビット/バイト)を評価する。
  論文  参考訳（メタデータ） (2026-08-19T06:17:13Z)
• Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
  評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。 この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
  勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。 3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-27T21:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。