Fugu-MT 論文翻訳(概要): MaxEnt Loss: Constrained Maximum Entropy for Calibration under Out-of-Distribution Shift

論文の概要: MaxEnt Loss: Constrained Maximum Entropy for Calibration under Out-of-Distribution Shift

arxiv url: http://arxiv.org/abs/2310.17159v1
Date: Thu, 26 Oct 2023 05:10:57 GMT
ステータス: 処理完了
システム内更新日: 2023-10-27 22:03:31.074221
Title: MaxEnt Loss: Constrained Maximum Entropy for Calibration under Out-of-Distribution Shift
Title（参考訳）: 最大損失:分散シフト時のキャリブレーションのための制約付き最大エントロピー
Authors: Dexter Neo, Stefan Winkler, Tsuhan Chen
Abstract要約: 本稿では, 配電系統のキャリブレーション問題(OOD)に対処する新たな損失関数を提案する。トレーニング中に観測される有意な統計的制約を取り入れ,精度を犠牲にすることなく,より優れたモデル校正を実現する。
参考スコア（独自算出の注目度）: 1.7089623113272014
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We present a new loss function that addresses the out-of-distribution (OOD) calibration problem. While many objective functions have been proposed to effectively calibrate models in-distribution, our findings show that they do not always fare well OOD. Based on the Principle of Maximum Entropy, we incorporate helpful statistical constraints observed during training, delivering better model calibration without sacrificing accuracy. We provide theoretical analysis and show empirically that our method works well in practice, achieving state-of-the-art calibration on both synthetic and real-world benchmarks.
Abstract（参考訳）: 本稿では,配電系統のキャリブレーション問題に対処する新たな損失関数を提案する。 OODを効果的に校正するためには,多くの目的関数が提案されているが,本研究の結果は必ずしもOODをうまく利用していないことを示している。最大エントロピーの原理に基づき、トレーニング中に観測される有用な統計制約を取り入れ、精度を犠牲にすることなくより優れたモデルキャリブレーションを提供する。我々は理論解析を行い,本手法が実世界のベンチマークと実世界のベンチマークの両方で最先端のキャリブレーションを達成することを実証的に示す。

関連論文リスト

Calibrating Large Language Models with Sample Consistency [76.23956851098598]
本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
論文参考訳（メタデータ） (2024-02-21T16:15:20Z)
On the Impact of Calibration Data in Post-training Quantization and Pruning [36.1039389951318]
量子化とプルーニングは、ニューラルネットワークの圧縮の基礎となる。モデル圧縮法におけるキャリブレーションデータの影響に関する実験的検討を行った。
論文参考訳（メタデータ） (2023-11-16T10:30:00Z)
Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文参考訳（メタデータ） (2023-11-03T05:41:25Z)
Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文参考訳（メタデータ） (2023-10-31T06:19:40Z)
Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文参考訳（メタデータ） (2023-02-23T12:17:36Z)
On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
論文参考訳（メタデータ） (2022-10-10T15:41:44Z)
Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文参考訳（メタデータ） (2022-06-23T03:25:23Z)
Better Uncertainty Calibration via Proper Scores for Classification and Beyond [15.981380319863527]
各校正誤差を適切なスコアに関連付ける適切な校正誤差の枠組みを導入する。この関係は、モデルのキャリブレーションの改善を確実に定量化するために利用することができる。
論文参考訳（メタデータ） (2022-03-15T12:46:08Z)
Learning Prediction Intervals for Regression: Generalization and Calibration [12.576284277353606]
不確実性定量のための回帰における予測間隔の生成について検討する。我々は一般学習理論を用いて、リプシッツ連続性とVC-サブグラフクラスを含む最適性と実現可能性のトレードオフを特徴づける。我々は既存のベンチマークと比べてテスト性能の点で、区間生成とキャリブレーションアルゴリズムの強みを実証的に示している。
論文参考訳（メタデータ） (2021-02-26T17:55:30Z)
Unsupervised Calibration under Covariate Shift [92.02278658443166]
ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
論文参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。