論文の概要: LiST: Lipschitz Scaling Training for Robust and Calibrated Neural Networks
- arxiv url: http://arxiv.org/abs/2607.07745v1
- Date: Wed, 08 Jul 2026 08:34:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.284829
- Title: LiST: Lipschitz Scaling Training for Robust and Calibrated Neural Networks
- Title（参考訳）: LiST:ロバストニューラルネットワークとキャリブレーションニューラルネットワークのためのLipschitzスケーリングトレーニング
- Abstract要約: リプシッツ制約モデルでは、設計による堅牢性を保証するが、リプシッツ制約Lのマニュアル選択は、結果として生じる正確さと悪さのトレードオフを規定する。
本研究では, 強制リプシッツ制約と温度スケーリングの理論的, 実証的な関係を示す。
リプシッツスケーリングトレーニング(Lipschitz Scaling Training, LiST)は, グローバルリプシッツ定数を反復的に調整してこの動作点に到達させる, 新たなトレーニングパラダイムである。
- 参考スコア（独自算出の注目度）: 5.0813117839734145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While accuracy, robustness, and calibration are all essential for reliable neural networks, they are often studied separately; developing models that satisfy all three simultaneously remains a central challenge. Lipschitz-constrained models guarantee robustness by design, yet the manual selection of the Lipschitz constraint L governs the resulting accuracy-robustness trade-off, and their calibration properties remain largely underexplored. In this work, we highlight a theoretical and empirical link between the enforced Lipschitz constraint and Temperature Scaling, a state-of-the-art calibration method. Specifically, we find that for a given training scheme, there exists a non-trivial value L* that yields an out-of-the-box calibrated network, and that calibration acts as a principled criterion to select a well-defined operating point on the accuracy-robustness Pareto front. Leveraging these insights, we introduce Lipschitz Scaling Training (LiST), a novel training paradigm that iteratively adjusts the global Lipschitz constant to reach this operating point. Through a margin parameter in the training loss, LiST further enables the construction of a fully calibrated Pareto front, allowing users to navigate the accuracy-robustness trade-off while remaining calibrated throughout. At convergence, LiST also enables the reintegration of calibration data into training, improving sample efficiency without sacrificing calibration. We validate LiST on CIFAR-10/100 and Tiny-ImageNet, demonstrating competitive accuracy and robustness against constrained and unconstrained baselines, while remaining calibrated out of the box. Code is available at GitHub.
- Abstract（参考訳）: 正確性、堅牢性、キャリブレーションは信頼性の高いニューラルネットワークには不可欠であるが、それらはしばしば別々に研究され、3つを同時に満たすモデルの開発は依然として中心的な課題である。
リプシッツの制約されたモデルは設計による堅牢性を保証するが、リプシッツの制約 L のマニュアル選択は結果として生じる正確さと損耗のトレードオフを制御し、その校正特性はほとんど探索されていない。
本研究では, 強制リプシッツ制約と, 最先端校正法である温度スケーリングの理論的, 実証的な関係を明らかにする。
具体的には、与えられたトレーニングスキームに対して、アウト・オブ・ザ・ボックスのキャリブレーションネットワークを生成する非自明な値 L* が存在し、キャリブレーションが原則的基準として機能し、精度ロバスト性Pareto フロントで明確に定義された操作点を選択する。
これらの知見を生かして,Lipschitz Scaling Training (LiST)を導入した。これは,グローバルリプシッツ定数を反復的に調整して,この動作点に到達する,新たなトレーニングパラダイムである。
トレーニング損失のマージンパラメータによって、LiSTはさらに、完全に校正されたパレートフロントの構築を可能にし、ユーザーはキャリブレーションされたまま、正確さと損耗のトレードオフをナビゲートすることができる。
収束時には、LiSTはキャリブレーションデータをトレーニングに再統合することができ、キャリブレーションを犠牲にすることなくサンプル効率を向上させることができる。
我々は,CIFAR-10/100およびTiny-ImageNet上でLiSTを検証し,制約のないベースラインに対する競合精度と堅牢性を実証した。
コードはGitHubで入手できる。
関連論文リスト
- Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning [40.322273308230606]
一次元モデルに依存しない後処理法である等速ベルマンキャリブレーションを導入する。
提案手法は, 1次元の非減少型変換に適合した占有率評価(FORE)を適用することにより, 推定値のスケールと形状を補正する。
キャリブレーション・リファインダは, キャリブレーション誤差の小さい任意の適合比が, 最良な後処理とほぼ同等であることを示す。
論文 参考訳（メタデータ） (2026-08-25T17:44:02Z) - Too Sharp, Too Sure: When Calibration Follows Curvature [39.687359662779826]
実験的に、期待誤差(ECE)は最適化全体を通して曲率に基づくシャープネスを密に追跡する。
ECE と Gauss-Newton の曲率も,問題固有定数まで制御可能であることを示す。
我々は,頑健な雄の尾と局所的な滑らかさを明確に目標とする辺縁認識トレーニングの目標を導入する。
論文 参考訳（メタデータ） (2026-04-22T14:28:52Z) - Uniform convergence of the smooth calibration error and its relationship with functional gradient [15.875913304310297]
この研究は滑らかな校正誤差(CE)に焦点を当て、一様収束境界を提供する。
我々は3つの代表的なアルゴリズムを解析する: 勾配の押し上げ木、カーネルの押し上げ、2層ニューラルネットワーク。
この結果は,信頼性のある確率モデルを設計するための新たな理論的洞察と実践的ガイダンスを提供する。
論文 参考訳（メタデータ） (2025-05-26T01:23:56Z) - Unconstrained Monotonic Calibration of Predictions in Deep Ranking Systems [29.90543561470141]
ランク付けモデルの絶対値は、特定の下流タスクに必須である。
既存のキャリブレーション手法では、元の予測を調整するために順序保存特性を持つ事前定義された変換関数を用いるのが一般的である。
本研究では,任意の単調関数を学習可能なunconstrained Monotonic Neural Network (UMNN) を用いたキャリブレータの実装を提案する。
このアプローチはキャリブレータの制約を著しく緩和し、元の予測を過度に歪ませることを避けながら、柔軟性と表現性を向上する。
論文 参考訳（メタデータ） (2025-04-19T09:35:11Z) - Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation [10.209143402485406]
本稿では, キャリブレーションが重要であり, 維持が容易であることを論じる。
校正されたモデルを生成する再校正に基づく簡単なトレーニング手順を導入し、全体的な性能を犠牲にしない。
論文 参考訳（メタデータ） (2021-12-14T06:19:05Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z) - Post-hoc Calibration of Neural Networks by g-Layers [51.42640515410253]
近年、ニューラルネットワークの校正に関する研究が急増している。
負ログライクリーフ(NLL)の最小化は、グローバルな最適化が達成されれば、トレーニングセット上の校正ネットワークにつながることが知られている。
基本ネットワーク (f$) が NLL のグローバルな最適化に繋がらず,追加レイヤ (g$) を追加し,パラメータを$g$ 1 に最適化することで NLL を最小化することで,キャリブレーションネットワークが得られることを示す。
論文 参考訳（メタデータ） (2020-06-23T07:55:10Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳（メタデータ） (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。