論文の概要: MCGrad:: Multicalibration at Web Scale
- arxiv url: http://arxiv.org/abs/2509.19884v1
- Date: Wed, 24 Sep 2025 08:34:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.739448
- Title: MCGrad:: Multicalibration at Web Scale
- Title(参考訳): MCGrad:Webスケールでのマルチキャリブレーション
- Authors: Lorenzo Perini, Daniel Haimovich, Fridolin Linder, Niek Tax, Dima Karamshuk, Milan Vojnovic, Nastaran Okati, Pavlos Athanasios Apostolopoulos,
- Abstract要約: マルチキャリブレーションは、機械学習ベースのシステムの性能にとって重要な特性である。
我々は,新しいスケーラブルなマルチキャリブレーションアルゴリズム MCGrad を提案する。
MCGradは保護されたグループの明示的な仕様を必要とせず、スケーラブルであり、しばしばそれらを傷つけることなく、他のML評価指標を改善する。
- 参考スコア(独自算出の注目度): 14.779208146318242
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose MCGrad, a novel and scalable multicalibration algorithm. Multicalibration - calibration in sub-groups of the data - is an important property for the performance of machine learning-based systems. Existing multicalibration methods have thus far received limited traction in industry. We argue that this is because existing methods (1) require such subgroups to be manually specified, which ML practitioners often struggle with, (2) are not scalable, or (3) may harm other notions of model performance such as log loss and Area Under the Precision-Recall Curve (PRAUC). MCGrad does not require explicit specification of protected groups, is scalable, and often improves other ML evaluation metrics instead of harming them. MCGrad has been in production at Meta, and is now part of hundreds of production models. We present results from these deployments as well as results on public datasets.
- Abstract(参考訳): 我々は,新しいスケーラブルなマルチキャリブレーションアルゴリズム MCGrad を提案する。
マルチキャリブレーション(マルチキャリブレーション) - データのサブグループのキャリブレーション - は、機械学習ベースのシステムの性能にとって重要な特性である。
既存のマルチキャリブレーション手法は、これまでのところ、業界において限られた牽引力しか得られていない。
これは,(1)ML実践者がしばしば苦労する,(2)拡張性がない,(3)ログロスやPRAUC(Precision-Recall Curve)といったモデルパフォーマンスの他の概念に害を与えるような,そのようなサブグループを手作業で指定する必要があるためである。
MCGradは保護されたグループの明示的な仕様を必要とせず、スケーラブルであり、しばしばそれらを傷つけることなく、他のML評価指標を改善する。
MCGradはMetaで生産されており、現在は数百のプロダクションモデルの一部となっている。
これらのデプロイメントの結果と、公開データセットの結果を提示する。
関連論文リスト
- LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。
本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。
この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文 参考訳(メタデータ) (2024-05-09T11:49:05Z) - Dual-Encoders for Extreme Multi-Label Classification [19.312120188406514]
本稿では,Dual-Encoder (DE) モデルが,極端なマルチラベル分類 (XMC) ベンチマークにおいて著しく不足していることを示す。
本稿では,既存のコントラスト損失の限界を克服するInfoNCE損失の簡易な修正を提案する。
提案した損失関数をトレーニングすると、標準のDEモデルだけで、Precision@1.1で最大2%のSOTAメソッドにマッチまたは性能が向上する。
論文 参考訳(メタデータ) (2023-10-16T17:55:43Z) - Applying Deep Learning to Calibrate Stochastic Volatility Models [0.0]
我々は、価格バニラヨーロッパオプションに対する微分機械学習(DML)アプローチを開発した。
トレーニングされたニューラルネットワークは、Hestonキャリブレーションの時間を劇的に短縮する。
オーバーフィッティングを減らし、一般化誤差を改善することで、それらの性能を比較する。
論文 参考訳(メタデータ) (2023-09-14T16:38:39Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳(メタデータ) (2023-06-13T08:57:54Z) - DOMINO: Domain-aware Loss for Deep Learning Calibration [49.485186880996125]
本稿では,ディープラーニングモデルの校正のためのドメイン認識損失関数を提案する。
提案した損失関数は、与えられた対象領域内のクラス間の類似性に基づいてクラスワイズペナルティを適用する。
論文 参考訳(メタデータ) (2023-02-10T09:47:46Z) - Scanflow: A multi-graph framework for Machine Learning workflow
management, supervision, and debugging [0.0]
本稿では,エンドツーエンドの機械学習ワークフロー管理を支援するコンテナ化指向グラフフレームワークを提案する。
このフレームワークは、コンテナ内でMLを定義してデプロイし、メタデータを追跡し、本番環境での振る舞いを確認し、学習された知識と人為的な知識を使用してモデルを改善する。
論文 参考訳(メタデータ) (2021-11-04T17:01:12Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳(メタデータ) (2020-05-17T22:59:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。