論文の概要: Box-Constrained Softmax Function and Its Application for Post-Hoc Calibration

• arxiv url: http://arxiv.org/abs/2506.10572v1
• Date: Thu, 12 Jun 2025 11:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.691649
• Title: Box-Constrained Softmax Function and Its Application for Post-Hoc Calibration
• Title（参考訳）: Box-Constrained Softmax関数とポストホック校正への応用
• Authors: Kyohei Atarashi, Satoshi Oyama, Hiromi Arai, Hisashi Kashima,
• Abstract要約: ソフトマックスモデルにおける出力確率の制御は、現代の機械学習において一般的な問題である。 ボックス制約付きソフトマックス(mathrmBCSoftmax$)関数を提案する。これは$mathrmSoftmax$関数の新たな一般化であり、出力確率に対して下限と上限を明示的に強制する。
• 参考スコア（独自算出の注目度）: 29.222132137091368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controlling the output probabilities of softmax-based models is a common problem in modern machine learning. Although the $\mathrm{Softmax}$ function provides soft control via its temperature parameter, it lacks the ability to enforce hard constraints, such as box constraints, on output probabilities, which can be critical in certain applications requiring reliable and trustworthy models. In this work, we propose the box-constrained softmax ($\mathrm{BCSoftmax}$) function, a novel generalization of the $\mathrm{Softmax}$ function that explicitly enforces lower and upper bounds on output probabilities. While $\mathrm{BCSoftmax}$ is formulated as the solution to a box-constrained optimization problem, we develop an exact and efficient computation algorithm for $\mathrm{BCSoftmax}$. As a key application, we introduce two post-hoc calibration methods based on $\mathrm{BCSoftmax}$. The proposed methods mitigate underconfidence and overconfidence in predictive models by learning the lower and upper bounds of the output probabilities or logits after model training, thereby enhancing reliability in downstream decision-making tasks. We demonstrate the effectiveness of our methods experimentally using the TinyImageNet, CIFAR-100, and 20NewsGroups datasets, achieving improvements in calibration metrics.
• Abstract（参考訳）: ソフトマックスモデルにおける出力確率の制御は、現代の機械学習において一般的な問題である。 $\mathrm{Softmax}$関数は温度パラメータによるソフトコントロールを提供するが、信頼性と信頼性のあるモデルを必要とする特定のアプリケーションにおいて重要な出力確率に対するボックス制約のような厳密な制約を強制する能力に欠ける。 本研究では,出力確率に対する下限と上限を明確に強制する$\mathrm{BCSoftmax}$関数の新たな一般化であるボックス制約ソフトマックス(\mathrm{BCSoftmax}$)関数を提案する。 ボックス制約付き最適化問題の解法として$\mathrm{BCSoftmax}$が定式化されているのに対し、$\mathrm{BCSoftmax}$に対する正確かつ効率的な計算アルゴリズムを開発する。 鍵となる応用として、$\mathrm{BCSoftmax}$ に基づいた2つのポストホック校正法を導入する。 提案手法は, モデル学習後の出力確率やロジットの上下境界を学習することにより, 予測モデルにおける不信感や過信感を軽減し, 下流意思決定タスクの信頼性を高める。 我々はTinyImageNet, CIFAR-100, 20NewsGroupsデータセットを用いて, キャリブレーション精度の向上を図った。

関連論文リスト

• Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees [16.01190705000295]
  制約のある意思決定は、現実世界の制御システムにおける安全なポリシーの設計に不可欠である。 本稿では,制約値関数を効果的に最小化し,制約を満たす新しい手法を提案する。 そのようなアルゴリズムは、$O(epsilon-2)$の後に、少なくとも$epsilon$の準最適化と実現可能なポリシーを求める。
  論文  参考訳（メタデータ） (2025-05-25T17:27:06Z)
• Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization [77.3396841985172]
  我々は、構造化された非極小最適化問題の解法として、2時間勾配上昇(TTGDA)を統一的に解析する。 我々の貢献はTTGDAアルゴリズムを設計することであり、設定を超えて効果的です。
  論文  参考訳（メタデータ） (2024-08-21T20:14:54Z)
• Attention Scheme Inspired Softmax Regression [20.825033982038455]
  大きな言語モデル(LLM)は、人間の社会に変革をもたらした。 LLMにおける鍵計算の1つはソフトマックス単位である。 この研究はソフトマックス単位にインスピレーションを与え、ソフトマックス回帰問題を定義する。
  論文  参考訳（メタデータ） (2023-04-20T15:50:35Z)
• r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
  本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。 我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
  論文  参考訳（メタデータ） (2023-04-11T14:28:29Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Minimax Optimization with Smooth Algorithmic Adversaries [59.47122537182611]
  対戦相手が展開するスムーズなアルゴリズムに対して,Min-playerの新しいアルゴリズムを提案する。 本アルゴリズムは,制限周期のない単調進行を保証し,適切な勾配上昇数を求める。
  論文  参考訳（メタデータ） (2021-06-02T22:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。