論文の概要: Towards Robust Calibration Dataset for Domain-General Mixture of Experts Pruning

• arxiv url: http://arxiv.org/abs/2610.15578v1
• Date: Sun, 11 Oct 2026 12:44:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:46:58.067538
• Title: Towards Robust Calibration Dataset for Domain-General Mixture of Experts Pruning
• Title（参考訳）: エキスパート・プルーニングのドメイン・ジェネラル混合のためのロバスト校正データセットに向けて
• Abstract要約: トレーニング後のエキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのための有望なデプロイメントテクニックである。 本稿では,特にMoEモデルにおけるキャリブレーション摂動のロバスト性に関する実証的研究について述べる。
• 参考スコア（独自算出の注目度）: 11.672385046863655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training expert pruning is a promising deployment technique for Mixture-of-Experts (MoE) models. The calibration set is an integral part of the pruning process, however, its correlation with evaluation performance is largely misunderstood and unintuitive. In this work, we present an empirical study of the robustness of calibration perturbations, specifically in MoE models. Showing how calibration size, language, and data distribution affect layer-wise expert pruning for gpt-oss-20b. Our findings reveal that (1) domain-general pruning quality receives minimal benefit from scaling calibration data beyond small sample sizes, (2) cross-lingual calibration transfers effectively, with English-only calibration maintaining strong performance across seven languages of varying typologies and scripts, and (3) a diverse calibration data resembling the pretraining distribution can yield comparable or superior performance to test-distribution data. Ultimately, we provide practical insights as a recipe for better understanding calibration for more effective domain-general expert pruning.
• Abstract（参考訳）: トレーニング後のエキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのための有望なデプロイメントテクニックである。 キャリブレーションセットはプルーニングプロセスの不可欠な部分であるが、評価性能との相関はほとんど誤解され、直観的ではない。 本稿では,特にMoEモデルにおけるキャリブレーション摂動のロバスト性に関する実証的研究について述べる。 gpt-oss-20bでは、キャリブレーションサイズ、言語、データ分散が階層的専門家のプルーニングにどのように影響するかを示す。 以上の結果から,(1)ドメイン汎用プルーニングの品質は,小さいサンプルサイズを超えるキャリブレーションデータのスケーリングの恩恵を最小限に抑え,(2)言語間キャリブレーションを効果的に行うこと,(2)英語のみのキャリブレーションが7言語にまたがる多種多様なキャリブレーションデータを維持すること,(3)事前学習分布に類似した多種キャリブレーションデータにより,テストディストリビューションデータと同等あるいは優れたキャリブレーションデータが得られることがわかった。 最終的に、我々はより効果的なドメイン・ジェネラル・エキスパート・プルーニングのキャリブレーションをよりよく理解するためのレシピとして実践的な洞察を提供する。

関連論文リスト

• Calibration and Discrimination Optimization Using Clusters of Learned Representation [7.5841677529906795]
  入力サンプルの学習表現のクラスタ上で訓練された校正関数のアンサンブルを利用して、全体的な校正を向上する新しい校正パイプラインを提案する。 このアプローチは、様々なメソッドの校正スコアを82.28%から100%に改善するだけでなく、ユニークなマッチングメトリックも導入する。 我々のジェネリック・スキームは、基本的な表現、クラスタリング、キャリブレーション法およびメートル法に適応し、一般的に使用されるキャリブレーション法にまたがる柔軟性と優れた性能を提供する。
  論文  参考訳（メタデータ） (2025-10-22T07:41:30Z)
• Calibration Meets Reality: Making Machine Learning Predictions Trustworthy [2.1485350418225244]
  ポストホック校正法は機械学習モデルから確率予測の信頼性を向上させるために広く用いられている。 本研究では, ポストホックキャリブレーション法の理論解析を行い, プラットスケーリングとソトニック回帰に着目した。 また,制御された合成実験によるキャリブレーション性能に及ぼす特徴情報の影響についても検討した。
  論文  参考訳（メタデータ） (2025-09-28T06:04:56Z)
• Where are we with calibration under dataset shift in image classification? [13.432791129536255]
  画像分類のための実世界のデータセットシフトの下でキャリブレーションの状況について検討する。 様々なポストホックキャリブレーション手法と、一般的なトレーニング中のキャリブレーション戦略との相互作用を比較した。 i) アンサンブル前に校正を適用することは、シフトの下で校正するのにより効果的である。
  論文  参考訳（メタデータ） (2025-07-10T13:59:53Z)
• Beware of Calibration Data for Pruning Large Language Models [41.1689082093302]
  トレーニング後のプルーニングは、リソース集約的な反復的なトレーニングを必要としない有望な方法である。 キャリブレーションデータは、特に高頻度で訓練後の刈り取りにも重要である。 キャリブレーションデータ構築のための自己生成型キャリブレーションデータ合成戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-23T09:36:21Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Calibration of Pre-trained Transformers [55.57083429195445]
  本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。 その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
  論文  参考訳（メタデータ） (2020-03-17T18:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。