論文の概要: Analytical Softmax Temperature Setting from Feature Dimensions for Model- and Domain-Robust Classification

• arxiv url: http://arxiv.org/abs/2504.15594v1
• Date: Tue, 22 Apr 2025 05:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 22:21:09.011613
• Title: Analytical Softmax Temperature Setting from Feature Dimensions for Model- and Domain-Robust Classification
• Title（参考訳）: モデル・ドメイン・ロバスト分類のための特徴量からのソフトマックス温度設定の解析
• Authors: Tatsuhito Hasegawa, Shunsuke Sakai,
• Abstract要約: ディープラーニングに基づく分類タスクでは、温度パラメータ$T$が出力分布と全体的な性能に重大な影響を与える。 本研究は, 最適温度$T*$が特徴表現の次元性によって一意に決定されるという新しい理論的知見を提示する。 我々は,クラス数とタスク複雑性に基づいて,$T*$を改良する修正スキームを導入しながら,追加のトレーニングを伴わずに$T*$を推定する実験式を開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In deep learning-based classification tasks, the softmax function's temperature parameter $T$ critically influences the output distribution and overall performance. This study presents a novel theoretical insight that the optimal temperature $T^*$ is uniquely determined by the dimensionality of the feature representations, thereby enabling training-free determination of $T^*$. Despite this theoretical grounding, empirical evidence reveals that $T^*$ fluctuates under practical conditions owing to variations in models, datasets, and other confounding factors. To address these influences, we propose and optimize a set of temperature determination coefficients that specify how $T^*$ should be adjusted based on the theoretical relationship to feature dimensionality. Additionally, we insert a batch normalization layer immediately before the output layer, effectively stabilizing the feature space. Building on these coefficients and a suite of large-scale experiments, we develop an empirical formula to estimate $T^*$ without additional training while also introducing a corrective scheme to refine $T^*$ based on the number of classes and task complexity. Our findings confirm that the derived temperature not only aligns with the proposed theoretical perspective but also generalizes effectively across diverse tasks, consistently enhancing classification performance and offering a practical, training-free solution for determining $T^*$.
• Abstract（参考訳）: ディープラーニングに基づく分類タスクでは、ソフトマックス関数の温度パラメータ$T$が出力分布と全体的な性能に重大な影響を及ぼす。 本研究は, 最適温度$T^*$が特徴表現の次元性によって一意に決定されるという新たな理論的知見を提示する。 この理論的な根拠にもかかわらず、T^*$はモデル、データセット、その他の相反する要因の変動によって現実的な条件下で変動することを示す経験的証拠がある。 これらの影響に対処するために,特徴次元の理論的関係に基づいて,T^*$をどのように調整すべきかを規定する温度決定係数のセットを提案し,最適化する。 さらに、出力層の直前にバッチ正規化層を挿入し、機能空間を効果的に安定化する。 これらの係数と大規模な実験スイートに基づいて、クラス数とタスク複雑性に基づいてT^*$を補正する補正スキームを導入しながら、追加の訓練を伴わずにT^*$を推定する実験式を開発した。 本研究は,提案した理論的視点に合致するだけでなく,多種多様なタスクを効果的に一般化し,一貫した分類性能を向上し,T^*$を判定するための実践的,トレーニング不要なソリューションを提供することを確認した。

関連論文リスト

• Gradient-free stochastic optimization for additive models [56.42455605591779]
  本稿では,Polyak-Lojasiewicz あるいは強凸条件を満たす目的関数に対する雑音観測によるゼロ次最適化の問題に対処する。 対象関数は加法的構造を持ち、H"古い関数族によって特徴づけられる高次滑らか性特性を満たすと仮定する。
  論文  参考訳（メタデータ） (2025-03-03T23:39:08Z)
• Exploring the Impact of Temperature Scaling in Softmax for Classification and Adversarial Robustness [8.934328206473456]
  この研究は「温度」として知られるソフトマックス関数内でしばしば見過ごされるパラメータを掘り下げる。 畳み込みニューラルネットワークとトランスフォーマーを採用した我々の実証研究は、温暖化によって全体的なパフォーマンスが向上することを示した。 一般的な腐敗に対するモデルロバスト性の向上、自然摂動、そして投影されたグラディエント・ダイスンのような非標的の敵攻撃などです。
  論文  参考訳（メタデータ） (2025-02-28T00:07:45Z)
• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts? [27.924615931679757]
  本研究は,MoEの下での最大推定値に対する専門家(MoE)の密度-スパース混合の影響について検討する。 本稿では,線形層の出力を活性化関数にルーティングし,ソフトマックス関数に伝達する新しいアクティベーション・トゥ・スパースゲートを提案する。
  論文  参考訳（メタデータ） (2024-01-25T01:09:09Z)
• Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
  本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。 我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。 また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T05:38:17Z)
• Not All Semantics are Created Equal: Contrastive Self-supervised Learning with Automatic Temperature Individualization [51.41175648612714]
  分散ロバスト最適化(DRO)に着想を得た新しい頑健なコントラスト損失を提案する。 提案アルゴリズムは,各サンプルに対して適切な$tau$を自動で学習することを示す。 提案手法は, 単モーダル・バイモーダル・データセットにおいて, 従来の強いベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-19T19:25:56Z)
• Functional Linear Regression of Cumulative Distribution Functions [20.96177061945288]
  本稿では,CDFを至る所で正確に推定する機能リッジ回帰に基づく推定手法を提案する。 固定設計, ランダム設計, 対逆コンテキストの場合の$widetilde O(sqrtd/n)$の推定誤差上限を示す。 パラメータ空間が無限次元ヒルベルト空間である無限次元モデルを定式化し、この設定に対して自己正規化推定誤差上限を確立する。
  論文  参考訳（メタデータ） (2022-05-28T23:59:50Z)
• Addressing Maximization Bias in Reinforcement Learning with Two-Sample Testing [0.0]
  過大評価バイアスは、価値に基づく強化学習アルゴリズムに対する既知の脅威である。 平均的な2サンプルテストに基づいて,過大評価と過小評価を柔軟に補間する$T$-Estimator (TE)を提案する。 また、TEと同じバイアスと分散境界に従うK$-Estimator (KE) という一般化も導入する。
  論文  参考訳（メタデータ） (2022-01-20T09:22:43Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Temperature check: theory and practice for training models with softmax-cross-entropy losses [21.073524360170833]
  ソフトマックス-クロスエントロピー損失を学習したモデルに対する早期学習理論を開発する。 一般化性能は温度に大きく依存するが,初期ロジット等級には弱い。
  論文  参考訳（メタデータ） (2020-10-14T18:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。