論文の概要: A Graphical Global Optimization Framework for Parameter Estimation of Statistical Models with Nonconvex Regularization Functions
- arxiv url: http://arxiv.org/abs/2505.03899v1
- Date: Tue, 06 May 2025 18:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-08 19:07:35.893097
- Title: A Graphical Global Optimization Framework for Parameter Estimation of Statistical Models with Nonconvex Regularization Functions
- Title（参考訳）: 非凸正規化関数を持つ統計モデルのパラメータ推定のためのグラフ的グローバル最適化フレームワーク
- Authors: Danial Davarnia, Mohammadreza Kiaghadi,
- Abstract要約: 線形ノルムバウンド制約の問題は、ポートフォリオ最適化、機械学習、機能選択など、さまざまなアプリケーションで発生する。
本稿では,これらの問題をグローバルに解決するための新しいグラフベース手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimization problems with norm-bounding constraints arise in a variety of applications, including portfolio optimization, machine learning, and feature selection. A common approach to these problems involves relaxing the norm constraint via Lagrangian relaxation, transforming it into a regularization term in the objective function. A particularly challenging class includes the zero-norm function, which promotes sparsity in statistical parameter estimation. Most existing exact methods for solving these problems introduce binary variables and artificial bounds to reformulate them as higher-dimensional mixed-integer programs, solvable by standard solvers. Other exact approaches exploit specific structural properties of the objective, making them difficult to generalize across different problem types. Alternative methods employ nonconvex penalties with favorable statistical characteristics, but these are typically addressed using heuristic or local optimization techniques due to their structural complexity. In this paper, we propose a novel graph-based method to globally solve optimization problems involving generalized norm-bounding constraints. Our approach encompasses standard $\ell_p$-norms for $p \in [0, \infty)$ and nonconvex penalties such as SCAD and MCP. We leverage decision diagrams to construct strong convex relaxations directly in the original variable space, eliminating the need for auxiliary variables or artificial bounds. Integrated into a spatial branch-and-cut framework, our method guarantees convergence to the global optimum. We demonstrate its effectiveness through preliminary computational experiments on benchmark sparse linear regression problems involving complex nonconvex penalties, which are not tractable using existing global optimization techniques.
- Abstract（参考訳）: ノルムバウンディング制約による最適化問題は、ポートフォリオ最適化、機械学習、機能選択など、さまざまなアプリケーションで発生する。
これらの問題に対する一般的なアプローチは、ラグランジュ緩和を通じてノルム制約を緩和し、対象関数の正規化項に変換することである。
特に難しいクラスはゼロノルム関数を含み、統計パラメータ推定の空間性を促進する。
これらの問題を解くための既存の正確な方法の多くは、二変数と人工境界を導入し、それらを高次元混合整数プログラムとして再構成し、標準解法によって解ける。
他の正確なアプローチでは、目的の特定の構造的特性を利用しており、異なる問題タイプをまたいだ一般化が困難である。
代替法では、非凸ペナルティと好ましくない統計特性を用いるが、これらは通常、構造的な複雑さのためにヒューリスティックまたは局所最適化技術を用いて対処される。
本稿では,一般化されたノルムバウンディング制約を含む最適化問題をグローバルに解くためのグラフベースの新しい手法を提案する。
我々のアプローチは、標準の$\ell_p$-norms for $p \in [0, \infty)$ と SCAD や MCP のような非凸ペナルティを含む。
決定図を利用して、元の変数空間において、強い凸緩和を直接構築し、補助変数や人工境界の必要性を排除します。
本手法は,空間的分岐・切断の枠組みに統合され,大域的最適化への収束を保証する。
我々は,既存の大域的最適化手法では抽出できない複雑な非凸ペナルティを含むベンチマークスパース線形回帰問題に対する予備計算実験により,その効果を実証する。
関連論文リスト
- Simultaneous and Meshfree Topology Optimization with Physics-informed Gaussian Processes [0.0]
トポロジ最適化(TO)は、その物質空間分布を予め定義された領域で設計し、制約の集合に従うことによって、構造の性能を最適化する原理的な数学的アプローチを提供する。
我々は,ガウス過程(GP)の枠組みに基づく新しいTO手法を開発し,その平均関数はディープニューラルネットワークを介してパラメータ化される。
本手法を商用ソフトウェアに実装した従来のTO手法に対して検証するため,ストークスフローにおける消散電力の最小化を含む4つの問題に対して評価を行った。
論文 参考訳（メタデータ） (2024-08-07T01:01:35Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [61.580419063416734]
最近の構造化学習手法のストリームは、様々な最適化問題に対する技術の実践的状態を改善している。
鍵となる考え方は、インスタンスを別々に扱うのではなく、インスタンス上の統計分布を利用することだ。
本稿では,最適化を容易にし,一般化誤差を改善するポリシを摂動することでリスクを円滑にする手法について検討する。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。
提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
論文 参考訳（メタデータ） (2023-07-07T13:06:12Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳（メタデータ） (2022-11-16T18:59:54Z) - Tensor Completion with Provable Consistency and Fairness Guarantees for
Recommender Systems [5.099537069575897]
非負・正の行列とテンソル完備問題を定義・解決するための新しい一貫性に基づくアプローチを導入する。
単一特性/制約: 単位スケールの一貫性を保ち、解の存在を保証し、比較的弱いサポート仮定の下では、一意性を示す。
論文 参考訳（メタデータ） (2022-04-04T19:42:46Z) - A Surrogate Objective Framework for Prediction+Optimization with Soft
Constraints [29.962390392493507]
SPO+や直接最適化のような決定に焦点をあてた予測手法が、このギャップを埋めるために提案されている。
本稿では,実世界の線形および半定値負の二次計画問題に対して,解析的に微分可能な主観的フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-22T17:09:57Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳（メタデータ） (2021-07-23T13:43:34Z) - Efficient Methods for Structured Nonconvex-Nonconcave Min-Max
Optimization [98.0595480384208]
定常点に収束する一般化外空間を提案する。
このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
論文 参考訳（メタデータ） (2020-10-31T21:35:42Z) - Extracting Optimal Solution Manifolds using Constrained Neural
Optimization [6.800113407368289]
制約付き最適化解アルゴリズムは点ベース解に制限される。
最適集合を近似として抽出する手法を提案する。
論文 参考訳（メタデータ） (2020-09-13T15:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。