論文の概要: Preserving LLM Capabilities through Calibration Data Curation: From Analysis to Optimization

• arxiv url: http://arxiv.org/abs/2510.10618v1
• Date: Sun, 12 Oct 2025 14:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.034016
• Title: Preserving LLM Capabilities through Calibration Data Curation: From Analysis to Optimization
• Title（参考訳）: 校正データキュレーションによるLCM能力の保存:分析から最適化へ
• Authors: Bowei He, Lihao Yin, Huiling Zhen, Shuqi Liu, Han Wu, Xiaokun Zhang, Mingxuan Yuan, Chen Ma,
• Abstract要約: 後学習圧縮は、大規模言語モデル(LLM)のスケールダウンに使用される キャリブレーションデータは 重みの重要度と アクティベーションのダイナミックレンジを知らせる 重要な役割を担います 数学の問題解決やコード生成など、高レベルの複雑な推論能力に対するキャリブレーションデータの影響について検討する。
• 参考スコア（独自算出の注目度）: 29.190967827961142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training compression has been a widely employed approach to scale down large language model (LLM) and facilitate efficient inference. In various proposed compression methods, including pruning and quantization, calibration data plays a vital role by informing the weight importance and activation dynamic ranges. However, how calibration data impacts the LLM capability after compression is less explored. Few of the existing works, though recognizing the significance of this study, only investigate the language modeling or commonsense reasoning performance degradation from limited angles, like the data sources or sample amounts. More systematic research is still needed to examine the impacts on different LLM capabilities in terms of compositional properties and domain correspondence of calibration data. In this work, we aim at bridging this gap and further analyze underlying influencing mechanisms from the activation pattern perspective. Especially, we explore the calibration data's impacts on high-level complex reasoning capabilities, like math problem solving and code generation. Delving into the underlying mechanism, we find that the representativeness and diversity in activation space more fundamentally determine the quality of calibration data. Finally, we propose a calibration data curation framework based on such observations and analysis, enhancing the performance of existing post-training compression methods on preserving critical LLM capabilities. Our code is provided in \href{https://github.com/BokwaiHo/COLA.git}{Link}.
• Abstract（参考訳）: 学習後圧縮は、大規模言語モデル(LLM)をスケールダウンし、効率的な推論を容易にするために広く利用されている手法である。 プルーニングや量子化など,様々な圧縮手法では,重み付けの重要度やアクティベーションのダイナミックレンジを知らせることによってキャリブレーションデータが重要な役割を担っている。 しかし, 圧縮後のLCM能力に及ぼすキャリブレーションデータの影響は少ない。 本研究の意義を認識しつつも,データソースやサンプル量などの限られた角度からの言語モデリングやコモンセンス推論性能劣化についてのみ調べる。 コンポジション特性とキャリブレーションデータの領域対応性の観点から, 異なるLLM能力への影響について, より系統的な研究が必要である。 本研究では,このギャップを埋めることを目的として,活性化パターンの観点から基礎となる影響メカニズムを解析する。 特に、数学の問題解決やコード生成など、高レベルの複雑な推論能力に対するキャリブレーションデータの影響について検討する。 基礎となるメカニズムに着目すると、活性化空間における代表性と多様性が、キャリブレーションデータの質をより根本的に決定することがわかった。 最後に,このような観測と解析に基づく校正データキュレーションフレームワークを提案する。 我々のコードは \href{https://github.com/BokwaiHo/COLA.git}{Link} で提供されている。

関連論文リスト

• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Beware of Calibration Data for Pruning Large Language Models [41.1689082093302]
  トレーニング後のプルーニングは、リソース集約的な反復的なトレーニングを必要としない有望な方法である。 キャリブレーションデータは、特に高頻度で訓練後の刈り取りにも重要である。 キャリブレーションデータ構築のための自己生成型キャリブレーションデータ合成戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-23T09:36:21Z)
• Evaluating the Impact of Compression Techniques on Task-Specific Performance of Large Language Models [0.0]
  大規模言語モデル(LLM)は強力な能力を提供するが、かなりの計算コストがかかる。 本研究では,LLaMA-2-7Bモデルに対する圧縮法の影響について検討した。 SparseGPTとWandaは50%の間隔でも難易度を保っているが,下流タスクでは著しく低下している。
  論文  参考訳（メタデータ） (2024-09-17T14:34:11Z)
• Large Language Models are Miscalibrated In-Context Learners [22.30783674111999]
  本研究では,学習方法の異なる選択にまたがる行動の詳細な分析を行う。 低リソース環境における全ての学習手法に誤校正問題が存在することを観察する。 最大確率で自己認識を行うことで,ロバストかつ校正された予測が得られることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。 分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。 十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)
• On the Impact of Calibration Data in Post-training Quantization and Pruning [36.1039389951318]
  量子化とプルーニングは、ニューラルネットワークの圧縮の基礎となる。 モデル圧縮法におけるキャリブレーションデータの影響に関する実験的検討を行った。
  論文  参考訳（メタデータ） (2023-11-16T10:30:00Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。