論文の概要: Neighborhood Smoothing for Calibration
- arxiv url: http://arxiv.org/abs/2610.09020v1
- Date: Tue, 06 Oct 2026 19:16:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.567458
- Title: Neighborhood Smoothing for Calibration
- Title(参考訳): キャリブレーションのための近隣スムースティング
- Abstract要約: 列車時キャリブレーションの一般的な原理としてグラフ平滑化を導入する。
グラフの平滑化, 近傍サンプル間の予測的ばらつきと局所的信頼変動を結合する境界の導出の影響を解析する。
本稿では,隣接するサンプルの予測分布間のイェンセン-シャノン差分をペナライズするグラフベースの列車時正規化器である ModelNoSpace を提案する。
- 参考スコア(独自算出の注目度): 1.49251567571938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural networks are often miscalibrated, with a tendency to overconfidence. Existing train-time calibration methods largely modify task losses or calibration penalties, leaving neighborhood structure in learned representations underexploited. We introduce graph smoothing as a general principle for train-time calibration, which encourages similar predictive distributions across neighboring samples in representation space. We analyze the effects of graph smoothing, deriving bounds that connect predictive divergence between neighboring samples to local confidence variation and to the propagation of pointwise calibration error, and characterize the conditions under which smoothing can or cannot improve calibration. In light of this analysis, we propose \modelNoSpace, a graph-based train-time regularizer that penalizes the Jensen--Shannon divergence between predictive distributions of neighboring samples. We present a thorough empirical analysis, showing that across standard calibration benchmarks, \model improves predictive quality, and the improvement is complementary to post-hoc calibration: after temperature scaling, \model attains the lowest NLL of all evaluated train-time methods in seven of the eight image and tabular settings. These findings demonstrate the value of graph smoothing over learned representations for neural network calibration.
- Abstract(参考訳): 現代のニューラルネットワークは、しばしば過度に自信を持つ傾向があるため、誤解される。
既存の列車時校正手法は、主にタスク損失や校正の罰則を修正し、学習された表現の近傍構造を過小評価している。
列車時キャリブレーションの一般的な原理としてグラフの平滑化を導入し, 表象空間における近隣サンプル間の類似した予測分布を促進させる。
グラフの平滑化, 近傍の試料間の予測的ばらつきを局所的な信頼変動に結びつける境界の導出, 点方向の校正誤差の伝播などの影響を解析し, 平滑化がキャリブレーションを改善または改善できない条件を特徴づける。
この分析から,隣接するサンプルの予測分布間のイェンセン-シャノン差分をペナライズするグラフベースの列車時正規化器である \modelNoSpace を提案する。
そこで本研究では,標準的なキャリブレーションベンチマークによって予測品質が向上し,保温後のキャリブレーションに相補的な改善が見られた。
これらの結果は,ニューラルネットワークのキャリブレーションのための学習表現よりもグラフの滑らか化が重要であることを示している。
関連論文リスト
- When does distribution shift break graph neural networks calibration? [0.0]
グラフニューラルネットワーク(GNN)は、分散シフトが避けられない現実世界のアプリケーションにますます多くデプロイされている。
GNNキャリブレーションの分布シフトにおける最初の閉形式理論的特徴について述べる。
ソースフリーなラベルフリーキャリブレーション手法STACを提案する。
論文 参考訳(メタデータ) (2026-07-12T15:23:38Z) - Too Sharp, Too Sure: When Calibration Follows Curvature [39.687359662779826]
実験的に、期待誤差(ECE)は最適化全体を通して曲率に基づくシャープネスを密に追跡する。
ECE と Gauss-Newton の曲率も,問題固有定数まで制御可能であることを示す。
我々は,頑健な雄の尾と局所的な滑らかさを明確に目標とする辺縁認識トレーニングの目標を導入する。
論文 参考訳(メタデータ) (2026-04-22T14:28:52Z) - CalibrateMix: Guided-Mixup Calibration of Image Semi-Supervised Models [49.588973929678765]
CalibrateMixは、SSLモデルのキャリブレーションを改善することを目的とした、ミックスアップベースのアプローチである。
提案手法は,既存のSSL手法と比較して,期待校正誤差(ECE)の低減と精度の向上を実現している。
論文 参考訳(メタデータ) (2025-11-17T04:43:53Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳(メタデータ) (2025-01-31T15:03:54Z) - Reassessing How to Compare and Improve the Calibration of Machine Learning Models [7.183341902583164]
結果の予測確率がモデル予測に基づいてその結果の観測周波数と一致した場合、機械学習モデルを校正する。
キャリブレーションと予測の指標が追加の一般化の指標を伴わない限り、最先端のように見えるような簡単な再校正手法が存在することを示す。
論文 参考訳(メタデータ) (2024-06-06T13:33:45Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳(メタデータ) (2023-10-31T06:19:40Z) - Calibration of Neural Networks [77.34726150561087]
本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。
我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。
実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
論文 参考訳(メタデータ) (2023-03-19T20:27:51Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - On Calibration of Graph Neural Networks for Node Classification [29.738179864433445]
グラフニューラルネットワークは、ノード分類やリンク予測といったタスクのためのエンティティとエッジの埋め込みを学ぶ。
これらのモデルは精度で優れた性能を発揮するが、予測に付随する信頼性スコアは校正されないかもしれない。
本稿では,近隣ノードを考慮に入れたトポロジ対応キャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2022-06-03T13:48:10Z) - Parameterized Temperature Scaling for Boosting the Expressive Power in
Post-Hoc Uncertainty Calibration [57.568461777747515]
我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。
最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。
当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
論文 参考訳(メタデータ) (2021-02-24T10:18:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。