Fugu-MT 論文翻訳(概要): ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space

論文の概要: ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space

arxiv url: http://arxiv.org/abs/2507.10638v3
Date: Mon, 11 Aug 2025 04:56:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-12 16:55:53.565418
Title: ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space
Title（参考訳）: Z Classifier: 論理空間上のKL分割による温度調整とマニフォールド近似
Authors: Shim Soon Yong,
Abstract要約: 従来の決定論的ロジットを対角的なガウス分布ロジットに置き換える新しい分類フレームワークZClassifierを導入する。予測されたガウス分布と単位等方的ガウス分布のKL分散を最小化することにより、温度スケーリングと多様体近似を同時に処理する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a novel classification framework, ZClassifier, that replaces conventional deterministic logits with diagonal Gaussian-distributed logits. Our method simultaneously addresses temperature scaling and manifold approximation by minimizing the KL divergence between the predicted Gaussian distributions and a unit isotropic Gaussian. This unifies uncertainty calibration and latent control in a principled probabilistic manner, enabling a natural interpretation of class confidence and geometric consistency. Experiments on CIFAR-10 and CIFAR-100 demonstrate that ZClassifier improves over softmax classifiers in robustness, calibration, and latent separation, with consistent benefits across small-scale and large-scale classification settings.
Abstract（参考訳）: 従来の決定論的ロジットを対角的なガウス分布ロジットに置き換える新しい分類フレームワークZClassifierを導入する。予測されたガウス分布と単位等方的ガウス分布のKL分散を最小化することにより、温度スケーリングと多様体近似を同時に処理する。これは不確実なキャリブレーションと遅延制御を原理的確率論的方法で統一し、クラスの信頼性と幾何学的整合性の自然な解釈を可能にする。 CIFAR-10とCIFAR-100の実験では、ZClassifierはロバストネス、キャリブレーション、潜時分離においてソフトマックス分類器よりも改善され、小規模および大規模分類設定で一貫した利点があることが示された。

関連論文リスト

A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
論文参考訳（メタデータ） (2025-01-20T02:48:07Z)
Semi-Implicit Functional Gradient Flow for Efficient Sampling [30.32233517392456]
本稿では,ガウス雑音を近似系とする摂動粒子を用いた関数勾配ParVI法を提案する。ニューラルネットワークと一致するスコアをデノナイズすることで推定できる機能的勾配流は,強い理論的収束保証を示す。さらに,サンプリング中の適切な雑音の大きさを自動的に選択する適応バージョンを提案する。
論文参考訳（メタデータ） (2024-10-23T15:00:30Z)
Classifier Calibration with ROC-Regularized Isotonic Regression [0.0]
等方性回帰を用いてモノトン変換による校正集合上のクロスエントロピーを最小化する。 IRは適応的なバイナリ処理として機能し、キャリブレーション誤差をゼロにすることができるが、性能への影響は未解決である。この一般単調な基準は、クロスエントロピー損失の低減と校正セットの過度な適合の回避のバランスを打つのに有効であることを示す。
論文参考訳（メタデータ） (2023-11-21T08:45:09Z)
Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文参考訳（メタデータ） (2023-09-29T15:24:48Z)
The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
論文参考訳（メタデータ） (2023-09-28T22:41:47Z)
Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文参考訳（メタデータ） (2023-07-12T19:30:04Z)
Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文参考訳（メタデータ） (2023-06-27T08:15:28Z)
Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文参考訳（メタデータ） (2023-06-13T17:56:02Z)
Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文参考訳（メタデータ） (2023-05-17T17:47:19Z)
Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation [5.98367009147573]
2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
論文参考訳（メタデータ） (2021-11-13T05:19:37Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文参考訳（メタデータ） (2020-06-23T07:18:05Z)
Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。