論文の概要: Damage Predicts Recovery: When Calibration Data Matters in Compressing Financial LLMs

• arxiv url: http://arxiv.org/abs/2609.26241v1
• Date: Wed, 12 Aug 2026 17:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.930862
• Title: Damage Predicts Recovery: When Calibration Data Matters in Compressing Financial LLMs
• Title（参考訳）: 被害予測:金融LLM圧縮における校正データの重要性
• Abstract要約: トレーニング後の量子化とプルーニングは、小さなキャリブレーションコーパスに依存している。 その答えは、ドメインミスマッチではなく、圧縮によって引き起こされるタスクレベルのダメージに依存している、と我々は主張する。 我々は,この仮説を2つのモデルファミリー,6つの圧縮構成,トークンマッチングキャリブレーションコーパス,10の財務分類と数値質問応答タスクで検証する。
• 参考スコア（独自算出の注目度）: 4.828689058366327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training quantization and pruning rely on a small calibration corpus. Whether specialized domains such as finance require domain-matched calibration data remains unsettled. We argue that the answer depends on the task-level damage caused by compression rather than on domain mismatch. If compression preserves the target capability, changing the calibration corpus has little effect. If compression causes large losses, task-formatted calibration can recover part of the loss. We test this hypothesis across two model families, six compression configurations, three token-matched calibration corpora, and ten financial classification and numerical question-answering tasks. The results support this hypothesis. Quantization largely preserves task performance, and calibration choice has little effect in this case. Pruning reduces numerical QA accuracy by over 40 points. In these damaged settings, another generic corpus does not help, while FinMix, a mixture of financial task examples, recovers a large part of the loss. The link between damage and recovery holds across model families and scales. These findings support a practical rule. Measure task-specific compression damage first, and construct specialized calibration data only when the damage is large.
• Abstract（参考訳）: トレーニング後の量子化とプルーニングは、小さなキャリブレーションコーパスに依存している。 金融などの専門分野がドメイン適合キャリブレーションデータを必要とするかどうかは未定である。 その答えは、ドメインミスマッチではなく、圧縮によって引き起こされるタスクレベルのダメージに依存している、と我々は主張する。 圧縮が目標能力を保持する場合、キャリブレーションコーパスの変更は効果がほとんどない。 圧縮が大きな損失を引き起こす場合、タスク形式のキャリブレーションが損失の一部を回復することができる。 我々は,この仮説を2つのモデルファミリー,6つの圧縮構成,トークンマッチングキャリブレーションコーパス,10の財務分類と数値質問応答タスクで検証する。 結果はこの仮説を支持する。 量子化はタスクのパフォーマンスを保ち、この場合、キャリブレーションの選択はほとんど効果がない。 プルーニングは数値QAの精度を40ポイント以上下げる。 これらの破損した設定では、別のジェネリックコーパスは役に立たないが、ファイナンシャルタスクの例の混合であるFinMixは、損失の大部分を回復する。 損傷と回復の関係は、モデルファミリーとスケールにまたがる。 これらの発見は実践的なルールを支持している。 まずタスク固有の圧縮損傷を測定し、損傷が大きい場合にのみ特別なキャリブレーションデータを構築する。

関連論文リスト

• Rethinking Post-Hoc Calibration in Semantic Segmentation [2.8002121919083685]
  ポストホックキャリブレーションは、セグメンテーションモデルを再訓練することなく、信頼度推定を補正する実用的な方法を提供する。 まず、全てのロジットに定数を加えるとソフトマックス確率は変わらないが、いくつかの標準校正器はこの任意のオフセットに依存することができる。 第二に、ポストホックキャリブレーションは通常、可能性に基づく目的を最小化することで適合するが、セグメンテーションモデルはDiceのようなタスク固有のメトリクスで訓練される。
  論文  参考訳（メタデータ） (2026-07-02T09:01:21Z)
• Efficient Calibration for Decision Making [26.81026842833163]
  HuとWu(FOCS'24)はこれを、キャリブレーション決定損失(mathsfCDL$)と呼ばれる近似キャリブレーション尺度を定義するために使用する。 我々は、$mathsfCDL_K$が情報理論および計算学的に抽出可能なときの包括的理論を開発する。
  論文  参考訳（メタデータ） (2025-11-17T18:52:00Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Inshrinkerator: Compressing Deep Learning Training Checkpoints via Dynamic Quantization [5.648270790530862]
  最先端のアプローチには、結果のモデル品質(精度)と圧縮比とのトレードオフを引き起こす、損失のあるモデル圧縮機構が含まれる。 モデル重みの圧縮に対する感度がトレーニング中に変化し、異なる重みが異なる量子化レベルから恩恵を受けることを重要視する。 本稿では,この変動を利用した非一様量子化手法,最適な量子化構成を動的に見つける効率的な探索機構,重みを再構成してチェックポイント差を最小限に抑える量子化対応デルタ圧縮機構を提案する。
  論文  参考訳（メタデータ） (2023-06-20T18:00:31Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。