論文の概要: Neural Legendre-Fenchel transform with Hessian Preconditioning
- arxiv url: http://arxiv.org/abs/2606.09077v1
- Date: Mon, 08 Jun 2026 06:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.730665
- Title: Neural Legendre-Fenchel transform with Hessian Preconditioning
- Title（参考訳）: Hessianプレコンディショニングを用いたニューラルレジェンダ-フェンシェル変換
- Abstract要約: この研究は、射影極性としてのルジャンドル・フェンシェル変換の再構成に基づいている。
アイデンティティに近い残余ネットワークは、この単純化されたマッピングを学ぶことができる。
高次元ベンチマークを含む様々な凸関数の実験では、収束率の改善が示されている。
- 参考スコア（独自算出の注目度）: 6.467090475885798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Legendre-Fenchel (LF) transform is a fundamental tool in convex analysis and machine learning that maps lower semi-continuous functions to their convex conjugates. In practice, when closed-form formula are not available for expressing convex conjugates of given functions, one must approximate them using various techniques. One recent such versatile numerical method is the deep Legendre transform method which relies on neural networks although it remains challenging particularly for tackling ill-conditioned functions. This work builds on the reformulation of the LF transform as a projective polarity. A notable property of this framework is its affine invariance. We leverage this affine invariance to introduce a Hessian-based preconditioning strategy. Specifically, we apply an affine deformation around a minimizer so that the second-order Taylor approximation of the function coincides with the canonical paraboloid, whose conjugation map is the identity. A residual network initialized near the identity can then learn this simplified mapping, while the original conjugation map is recovered through the inverse deformation. The proposed preconditioning incurs only a modest computational overhead, consisting of a single eigendecomposition during initialization and two matrix-vector multiplications per query. Experiments on a diverse set of convex functions, including high-dimensional benchmarks, demonstrate improved convergence rates and enhanced numerical accuracy of the conjugation, with particularly significant gains for ill-conditioned problems. Finally, we discuss the scope of applicability of our proposed method and highlight several of its limitations.
- Abstract（参考訳）: ルジャンドル・フェンシェル変換は、半連続関数を凸共役にマッピングする凸解析と機械学習の基本的なツールである。
実際には、与えられた関数の凸共役を表現するために閉形式公式が利用できない場合、様々な手法を用いてそれらを近似しなければならない。
最近の汎用的数値法は、ニューラルネットワークに依存するディープレジェンダー変換法である。
この研究は、射影極性としてのLF変換の再構成に基づいている。
この枠組みの顕著な性質はアフィン不変性である。
我々は、このアフィン不変性を利用して、ヘッセン語に基づくプレコンディショニング戦略を導入する。
具体的には,関数の2階テイラー近似が共役写像が恒等写像である正準放物型と一致するように,最小化器の周囲にアフィン変形を適用する。
アイデンティティの近くで初期化された残余ネットワークは、逆変形によって元の共役写像が復元される間、この単純化されたマッピングを学習することができる。
提案したプリコンディショニングは、初期化時の1つの固有分解とクエリ毎の2つの行列ベクトル乗算からなる、控えめな計算オーバーヘッドしか発生しない。
高次元ベンチマークを含む様々な凸関数の実験では、収束率の改善と共役の数値的精度の向上が示され、特に条件の悪い問題に対して顕著な利得が得られた。
最後に,提案手法の適用範囲について考察し,いくつかの制限点を強調した。
関連論文リスト
- Difference-of-Convex Regularization for Graph Learning by Differentiable Programming [1.9651461643699661]
直接反転なしでラプラシアン擬似逆のスペクトル作用を近似する差分凸正規化器(DCR)グラフ学習フレームワークを提案する。
Laplacian-Regularized Non negative Least Squares (LR-NNLS) を二重表現で再構成することにより、DCRはインスタンス固有の推論から擬似逆学習を分離する。
DCRアルゴリズムの安定性と一意な固定点の存在を理論的に保証する。
論文 参考訳（メタデータ） (2026-08-13T03:10:05Z) - Deep Legendre Transform [0.7734726150561086]
微分可能凸関数の凸共役を計算するための新しいディープラーニングアルゴリズムを提案する。
本手法は近似誤差の最小化のために,効率的な勾配に基づくフレームワークを提案する。
数値実験により,高次元の異なる実例に対して精度の高い結果が得られることを示した。
論文 参考訳（メタデータ） (2025-12-22T18:22:11Z) - Preconditioned subgradient method for composite optimization: overparameterization and fast convergence [16.437253140200788]
複合最適化問題は凸関数を持つ滑らかな写像の構成を最小化することを含む。
次進法は、複合損失が十分に条件付けられたときに局所的な線形収束を達成する。
軽度規則性条件下で線形に収束するレバンス・モリソン・マルクアート劣次法を導入する。
論文 参考訳（メタデータ） (2025-09-15T00:26:47Z) - DiffuMatch: Category-Agnostic Spectral Diffusion Priors for Robust Non-rigid Shape Matching [53.39693288324375]
ネットワーク内正規化と関数型マップトレーニングの両方をデータ駆動方式に置き換えることができることを示す。
まず、スコアベース生成モデルを用いてスペクトル領域における関数写像の生成モデルを訓練する。
次に、得られたモデルを利用して、新しい形状コレクション上の基底真理汎関数写像の構造的特性を促進する。
論文 参考訳（メタデータ） (2025-07-31T16:44:54Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳（メタデータ） (2025-06-28T01:46:36Z) - EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。
意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。
意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
論文 参考訳（メタデータ） (2024-03-26T14:18:43Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - AMITE: A Novel Polynomial Expansion for Analyzing Neural Network
Nonlinearities [1.8761314918771685]
多項式展開はニューラルネットワークの非線形性の解析において重要である。
既存のアプローチは古典的なテイラー法とチェビシェフ法にまたがる。
これらの性質をすべて拡張した一貫した方法を提供するアプローチは存在しない。
論文 参考訳（メタデータ） (2020-07-13T07:58:47Z) - Invertible Generative Modeling using Linear Rational Splines [11.510009152620666]
正規化フローは、可逆写像の集合を通して任意の確率分布をモデル化しようとする。
最初のフロー設計ではアフィン変換に基づく結合層マッピングが用いられた。
アフィン変換の代替として機能するイントレピッドは注目されている。
論文 参考訳（メタデータ） (2020-01-15T08:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。