論文の概要: Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss

• arxiv url: http://arxiv.org/abs/2601.22745v1
• Date: Fri, 30 Jan 2026 09:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.345689
• Title: Is Softmax Loss All You Need? A Principled Analysis of Softmax-family Loss
• Title（参考訳）: Softmaxは必要なものすべてを失うのか? Softmaxファミリーの損失の原理的分析
• Authors: Yuanhao Pu, Defu Lian, Enhong Chen,
• Abstract要約: ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。 本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを考察し,それらの勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。 本研究は,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスとして,原則的基礎を確立した。
• 参考スコア（独自算出の注目度）: 91.61796429377041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Softmax loss is one of the most widely employed surrogate objectives for classification and ranking tasks. To elucidate its theoretical properties, the Fenchel-Young framework situates it as a canonical instance within a broad family of surrogates. Concurrently, another line of research has addressed scalability when the number of classes is exceedingly large, in which numerous approximations have been proposed to retain the benefits of the exact objective while improving efficiency. Building on these two perspectives, we present a principled investigation of the Softmax-family losses. We examine whether different surrogates achieve consistency with classification and ranking metrics, and analyze their gradient dynamics to reveal distinct convergence behaviors. We also introduce a systematic bias-variance decomposition for approximate methods that provides convergence guarantees, and further derive a per-epoch complexity analysis, showing explicit trade-offs between effectiveness and efficiency. Extensive experiments on a representative task demonstrate a strong alignment between consistency, convergence, and empirical performance. Together, these results establish a principled foundation and offer practical guidance for loss selections in large-class machine learning applications.
• Abstract（参考訳）: ソフトマックスの損失は、分類とランキングのタスクにおいて最も広く使用されるサロゲートの目標の1つである。 その理論的性質を解明するために、フェンチェル・ヨンのフレームワークは、広義のサロゲートの族の中で正準のインスタンスとしてそれを満たす。 同時に、クラス数が極端に多い場合に拡張性に対処し、効率を向上しつつ、正確な目的の利点を維持するために多くの近似が提案されている。 これら2つの視点に基づいて、Softmaxファミリーの損失を原則的に調査する。 本研究では,異なるサロゲートが分類とランキングの指標との整合性を達成するかどうかを検証し,その勾配ダイナミクスを分析して,異なる収束挙動を明らかにする。 また、収束保証を提供する近似手法に対する系統的バイアス分散分解を導入し、さらに、有効性と効率の明確なトレードオフを示す、エポジカルな複雑性解析を導出する。 代表的タスクに関する大規模な実験は、一貫性、収束、経験的パフォーマンスの強い一致を示す。 これらの結果と合わせて,大規模機械学習アプリケーションにおける損失選択の実践的ガイダンスを提供する。

関連論文リスト

• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Distributed Statistical Min-Max Learning in the Presence of Byzantine Agents [34.46660729815201]
  本稿では,ビザンチンの敵対的エージェントと競合する新たな課題に焦点をあて,マルチエージェントのmin-max学習問題を考察する。 我々の主な貢献は、滑らかな凸凹関数と滑らかな凸凸凸関数に対する頑健な外勾配アルゴリズムのクリップ解析を提供することである。 我々の利率はほぼ最適であり、敵の汚職の影響と非汚職エージェント間の協力の利益の両方を明らかにしている。
  論文  参考訳（メタデータ） (2022-04-07T03:36:28Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• von Mises-Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning [12.37528281037283]
  最近の研究では、softmaxクロスエントロピーを用いた分類損失は、固定セット分類タスクだけでなく、オープンセットタスクにも優れていると主張している。 各種固定集合分類および画像検索タスクにおけるソフトマックス損失に対する埋め込み幾何の実証的検討を行う。
  論文  参考訳（メタデータ） (2021-03-29T16:07:09Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。