論文の概要: Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2502.20604v1
- Date: Fri, 28 Feb 2025 00:07:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:43:30.936671
- Title: Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness
- Title（参考訳）: ソフトマックスにおける温度スケーリングの影響を探る : 分類と対向ロバスト性
- Authors: Hao Xuan, Bokai Yang, Xingyu Li,
- Abstract要約: この研究は「温度」として知られるソフトマックス関数内でしばしば見過ごされるパラメータを掘り下げる。
畳み込みニューラルネットワークとトランスフォーマーを採用した我々の実証研究は、温暖化によって全体的なパフォーマンスが向上することを示した。
一般的な腐敗に対するモデルロバスト性の向上、自然摂動、そして投影されたグラディエント・ダイスンのような非標的の敵攻撃などです。
- 参考スコア（独自算出の注目度）: 8.934328206473456
- License:
- Abstract: The softmax function is a fundamental component in deep learning. This study delves into the often-overlooked parameter within the softmax function, known as "temperature," providing novel insights into the practical and theoretical aspects of temperature scaling for image classification. Our empirical studies, adopting convolutional neural networks and transformers on multiple benchmark datasets, reveal that moderate temperatures generally introduce better overall performance. Through extensive experiments and rigorous theoretical analysis, we explore the role of temperature scaling in model training and unveil that temperature not only influences learning step size but also shapes the model's optimization direction. Moreover, for the first time, we discover a surprising benefit of elevated temperatures: enhanced model robustness against common corruption, natural perturbation, and non-targeted adversarial attacks like Projected Gradient Descent. We extend our discoveries to adversarial training, demonstrating that, compared to the standard softmax function with the default temperature value, higher temperatures have the potential to enhance adversarial training. The insights of this work open new avenues for improving model performance and security in deep learning applications.
- Abstract（参考訳）: ソフトマックス関数はディープラーニングの基本的な構成要素である。
この研究は「温度」と呼ばれるソフトマックス関数の中でしばしば見過ごされるパラメータを掘り下げ、画像分類のための温度スケーリングの実践的および理論的側面に関する新たな洞察を与える。
畳み込みニューラルネットワークとトランスフォーマーを複数のベンチマークデータセットに適用した実証研究により、温暖化によって全体的なパフォーマンスが向上することが判明した。
実験と厳密な理論的分析を通じて,モデル学習における温度スケーリングの役割を探求し,学習ステップのサイズだけでなく,モデルの最適化方向も温度が左右されることを示した。
さらに、私たちは初めて、一般的な腐敗に対するモデル堅牢性の向上、自然摂動、および投影されたグラディエント・ダイスティングのような非標的の敵攻撃といった、上昇した温度の驚くべき利点を発見した。
本研究は, 標準ソフトマックス関数と既定温度値との対比により, 対向トレーニングを促進できる可能性が示唆された。
この研究の洞察は、ディープラーニングアプリケーションのモデルパフォーマンスとセキュリティを改善するための新たな道を開く。
関連論文リスト
- Adaptive Decoding via Latent Preference Optimization [55.70602730588745]
モデルに付加されたレイヤであるAdaptive Decodingを導入し、推論時にサンプリング温度を動的に選択する。
我々の手法は、異なる温度を必要とする様々なタスクにおいて、すべての固定デコード温度を上回ります。
論文 参考訳（メタデータ） (2024-11-14T18:31:39Z) - Temperature Optimization for Bayesian Deep Learning [9.610060788662972]
テストログ予測密度を最大化する温度を選択するためのデータ駆動手法を提案する。
提案手法は,グリッド探索において,コストのごく一部で比較可能な性能を実証的に証明する。
論文 参考訳（メタデータ） (2024-10-08T07:32:22Z) - To Cool or not to Cool? Temperature Network Meets Large Foundation Models via DRO [68.69840111477367]
LFMを改善するために,小型だが一般化可能な温度予測ネットワーク(TempNet)を学習するための基本的枠組みを提案する。
LLMとCLIPモデルに関する我々の実験は、TempNetが既存のソリューションやモデルの性能を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-04-06T09:55:03Z) - Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。
我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。
我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
論文 参考訳（メタデータ） (2024-02-27T13:49:12Z) - Temperature Balancing, Layer-wise Weight Analysis, and Neural Network
Training [58.20089993899729]
本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。
我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。
また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
論文 参考訳（メタデータ） (2023-12-01T05:38:17Z) - Exploring and Analyzing Wildland Fire Data Via Machine Learning
Techniques [0.0]
熱電対温度の10Hz時系列と乱流運動エネルギー(TKE)の相関について検討した。
風速は、ニュージャージー州のサイラス・リトル・エクスペリメント・フォレスト(Silas Little Experimental Forest)の小さな実験用火傷から収集された。
このプロジェクトは、さまざまな機械学習モデルを用いて、TKEを予測する際に高い精度を達成する。
論文 参考訳（メタデータ） (2023-11-09T03:47:49Z) - Machine learning enabled experimental design and parameter estimation
for ultrafast spin dynamics [54.172707311728885]
機械学習とベイズ最適実験設計(BOED)を組み合わせた方法論を提案する。
本手法は,大規模スピンダイナミクスシミュレーションのためのニューラルネットワークモデルを用いて,BOEDの正確な分布と実用計算を行う。
数値ベンチマークでは,XPFS実験の誘導,モデルパラメータの予測,実験時間内でのより情報的な測定を行う上で,本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-06-03T06:19:20Z) - A Three-regime Model of Network Pruning [47.92525418773768]
我々は、ニューラルネットワーク(NN)トレーニングのハイパーパラメータが刈り取り性能に与える影響をモデル化するために、温度のようなパラメータと負荷のようなパラメータを使用します。
プレプルーニングモデルにおける負荷様パラメータの値に依存すると、プレプルーニングモデルにおける温度様パラメータの値が増加するか、その後のプルーニング性能が向上または損なわれる可能性がある。
本モデルでは, 高温のダイコトモス効果は, ポストプランニングモデルにおいて, 異なるタイプの大域構造間の遷移と関係していることが明らかとなった。
論文 参考訳（メタデータ） (2023-05-28T08:09:25Z) - Physics-constrained deep learning postprocessing of temperature and
humidity [0.0]
深層学習に基づく後処理モデルにおける物理的整合性を実現することを提案する。
熱力学状態方程式を強制するためにニューラルネットワークを制約することは、物理的に一貫性のある予測をもたらす。
論文 参考訳（メタデータ） (2022-12-07T09:31:25Z) - Fine-tune your Classifier: Finding Correlations With Temperature [2.071516130824992]
我々は、データセットを表現に計算された統計の集合として記述することで、分類タスクに対する温度の影響を分析する。
これらの抽出された統計値と観測された最適温度との相関について検討した。
論文 参考訳（メタデータ） (2022-10-18T09:48:46Z) - Temperature check: theory and practice for training models with
softmax-cross-entropy losses [21.073524360170833]
ソフトマックス-クロスエントロピー損失を学習したモデルに対する早期学習理論を開発する。
一般化性能は温度に大きく依存するが,初期ロジット等級には弱い。
論文 参考訳（メタデータ） (2020-10-14T18:26:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。