論文の概要: Neural Legendre-Fenchel transform with Hessian Preconditioning

• arxiv url: http://arxiv.org/abs/2606.09077v1
• Date: Mon, 08 Jun 2026 06:21:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.730665
• Title: Neural Legendre-Fenchel transform with Hessian Preconditioning
• Title（参考訳）: Hessianプレコンディショニングを用いたニューラルレジェンダ-フェンシェル変換
• Authors: Basile Plus-Gourdon, Frank Nielsen,
• Abstract要約: この研究は、射影極性としてのルジャンドル・フェンシェル変換の再構成に基づいている。 アイデンティティに近い残余ネットワークは、この単純化されたマッピングを学ぶことができる。 高次元ベンチマークを含む様々な凸関数の実験では、収束率の改善が示されている。
• 参考スコア（独自算出の注目度）: 6.467090475885798
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Legendre-Fenchel (LF) transform is a fundamental tool in convex analysis and machine learning that maps lower semi-continuous functions to their convex conjugates. In practice, when closed-form formula are not available for expressing convex conjugates of given functions, one must approximate them using various techniques. One recent such versatile numerical method is the deep Legendre transform method which relies on neural networks although it remains challenging particularly for tackling ill-conditioned functions. This work builds on the reformulation of the LF transform as a projective polarity. A notable property of this framework is its affine invariance. We leverage this affine invariance to introduce a Hessian-based preconditioning strategy. Specifically, we apply an affine deformation around a minimizer so that the second-order Taylor approximation of the function coincides with the canonical paraboloid, whose conjugation map is the identity. A residual network initialized near the identity can then learn this simplified mapping, while the original conjugation map is recovered through the inverse deformation. The proposed preconditioning incurs only a modest computational overhead, consisting of a single eigendecomposition during initialization and two matrix-vector multiplications per query. Experiments on a diverse set of convex functions, including high-dimensional benchmarks, demonstrate improved convergence rates and enhanced numerical accuracy of the conjugation, with particularly significant gains for ill-conditioned problems. Finally, we discuss the scope of applicability of our proposed method and highlight several of its limitations.
• Abstract（参考訳）: ルジャンドル・フェンシェル変換は、半連続関数を凸共役にマッピングする凸解析と機械学習の基本的なツールである。 実際には、与えられた関数の凸共役を表現するために閉形式公式が利用できない場合、様々な手法を用いてそれらを近似しなければならない。 最近の汎用的数値法は、ニューラルネットワークに依存するディープレジェンダー変換法である。 この研究は、射影極性としてのLF変換の再構成に基づいている。 この枠組みの顕著な性質はアフィン不変性である。 我々は、このアフィン不変性を利用して、ヘッセン語に基づくプレコンディショニング戦略を導入する。 具体的には,関数の2階テイラー近似が共役写像が恒等写像である正準放物型と一致するように,最小化器の周囲にアフィン変形を適用する。 アイデンティティの近くで初期化された残余ネットワークは、逆変形によって元の共役写像が復元される間、この単純化されたマッピングを学習することができる。 提案したプリコンディショニングは、初期化時の1つの固有分解とクエリ毎の2つの行列ベクトル乗算からなる、控えめな計算オーバーヘッドしか発生しない。 高次元ベンチマークを含む様々な凸関数の実験では、収束率の改善と共役の数値的精度の向上が示され、特に条件の悪い問題に対して顕著な利得が得られた。 最後に,提案手法の適用範囲について考察し,いくつかの制限点を強調した。

関連論文リスト

• Deep Legendre Transform [0.7734726150561086]
  微分可能凸関数の凸共役を計算するための新しいディープラーニングアルゴリズムを提案する。 本手法は近似誤差の最小化のために,効率的な勾配に基づくフレームワークを提案する。 数値実験により,高次元の異なる実例に対して精度の高い結果が得られることを示した。
  論文  参考訳（メタデータ） (2025-12-22T18:22:11Z)
• Preconditioned subgradient method for composite optimization: overparameterization and fast convergence [16.437253140200788]
  複合最適化問題は凸関数を持つ滑らかな写像の構成を最小化することを含む。 次進法は、複合損失が十分に条件付けられたときに局所的な線形収束を達成する。 軽度規則性条件下で線形に収束するレバンス・モリソン・マルクアート劣次法を導入する。
  論文  参考訳（メタデータ） (2025-09-15T00:26:47Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• AMITE: A Novel Polynomial Expansion for Analyzing Neural Network Nonlinearities [1.8761314918771685]
  多項式展開はニューラルネットワークの非線形性の解析において重要である。 既存のアプローチは古典的なテイラー法とチェビシェフ法にまたがる。 これらの性質をすべて拡張した一貫した方法を提供するアプローチは存在しない。
  論文  参考訳（メタデータ） (2020-07-13T07:58:47Z)
• Invertible Generative Modeling using Linear Rational Splines [11.510009152620666]
  正規化フローは、可逆写像の集合を通して任意の確率分布をモデル化しようとする。 最初のフロー設計ではアフィン変換に基づく結合層マッピングが用いられた。 アフィン変換の代替として機能するイントレピッドは注目されている。
  論文  参考訳（メタデータ） (2020-01-15T08:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。