論文の概要: Differentiable Zero-One Loss via Hypersimplex Projections
- arxiv url: http://arxiv.org/abs/2602.23336v1
- Date: Thu, 26 Feb 2026 18:41:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.854155
- Title: Differentiable Zero-One Loss via Hypersimplex Projections
- Title（参考訳）: 超複素射影による微分零点損失
- Authors: Camilo Gomez, Pengyang Wang, Liansheng Tang,
- Abstract要約: 分類性能の標準としてゼロ1損失長を考慮に入れた新しい微分可能近似を導入する。
本稿では,Jacobianを効率的に計算し,バイナリおよびマルチクラス学習システムに統合する方法を示す。
- 参考スコア（独自算出の注目度）: 14.382224834970557
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in machine learning have emphasized the integration of structured optimization components into end-to-end differentiable models, enabling richer inductive biases and tighter alignment with task-specific objectives. In this work, we introduce a novel differentiable approximation to the zero-one loss-long considered the gold standard for classification performance, yet incompatible with gradient-based optimization due to its non-differentiability. Our method constructs a smooth, order-preserving projection onto the n,k-dimensional hypersimplex through a constrained optimization framework, leading to a new operator we term Soft-Binary-Argmax. After deriving its mathematical properties, we show how its Jacobian can be efficiently computed and integrated into binary and multiclass learning systems. Empirically, our approach achieves significant improvements in generalization under large-batch training by imposing geometric consistency constraints on the output logits, thereby narrowing the performance gap traditionally observed in large-batch training.
- Abstract（参考訳）: 機械学習の最近の進歩は、構造化最適化コンポーネントをエンドツーエンドの微分可能なモデルに統合することを強調しており、より豊かな帰納バイアスとタスク固有の目的とのより緊密な調整を可能にしている。
本研究では,ゼロ・ワン・ロス・ロング(ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング(ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング,ゼロ・ワン・ロス・ロング)の分類性能に対する新しい微分可能近似を導入する。
本手法は, 制約付き最適化フレームワークを用いて, n,k-次元超複素数体への滑らかな順序保存射影を構成し, ソフトビナリー・アルグマックスと呼ばれる新しい作用素を導いた。
その数学的特性を導出した後、そのヤコビアンを効率的に計算し、バイナリおよびマルチクラス学習システムに統合する方法を示す。
提案手法は,出力ロジットに幾何的整合性制約を課すことにより,大規模バッチトレーニングにおいて従来観測されてきた性能ギャップを狭めることにより,大規模バッチトレーニングにおける一般化の大幅な改善を実現する。
関連論文リスト
- A Trainable Optimizer [18.195022468462753]
モデルの全勾配推定器とトレーニング可能な重みを共同で訓練する枠組みを提案する。
Pseudo-linear TOは無視可能な計算オーバーヘッドを発生させ、最小限の乗算しか必要としない。
実験により、TOメソッドはベンチマークアルゴリズムよりも早く収束することが示された。
論文 参考訳（メタデータ） (2025-08-03T14:06:07Z) - A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。
非凸アルゴリズムに新しい統一仮定を導入する。
論文 参考訳（メタデータ） (2025-02-17T21:25:31Z) - qNBO: quasi-Newton Meets Bilevel Optimization [26.0555315825777]
階層的な学習タスクにおける課題に対処するバイレベル最適化は、機械学習に大きな関心を集めている。
我々はこれらの計算課題に協調的に対処するための一般的な枠組みを導入する。
具体的には、準ニュートンアルゴリズムを利用して、逆ヘッセンベクトル積を効率的に近似しながら、下層問題の解法を高速化する。
論文 参考訳（メタデータ） (2025-02-03T05:36:45Z) - Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。
スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
論文 参考訳（メタデータ） (2023-06-26T09:42:59Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。