論文の概要: On the Treatment of Optimization Problems with L1 Penalty Terms via Multiobjective Continuation

• arxiv url: http://arxiv.org/abs/2012.07483v1
• Date: Mon, 14 Dec 2020 13:00:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-09 00:43:01.846094
• Title: On the Treatment of Optimization Problems with L1 Penalty Terms via Multiobjective Continuation
• Title（参考訳）: 多目的継続によるL1ペナルティ項の最適化問題処理について
• Authors: Katharina Bieker, Bennet Gebken, Sebastian Peitz
• Abstract要約: 本稿では,線形・非線形最適化におけるスパース性の影響を詳細に把握するアルゴリズムを提案する。 本手法は非線形の場合に対する線形回帰問題に対するよく知られたホモトピー法の一般化と見なすことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel algorithm that allows us to gain detailed insight into the effects of sparsity in linear and nonlinear optimization, which is of great importance in many scientific areas such as image and signal processing, medical imaging, compressed sensing, and machine learning (e.g., for the training of neural networks). Sparsity is an important feature to ensure robustness against noisy data, but also to find models that are interpretable and easy to analyze due to the small number of relevant terms. It is common practice to enforce sparsity by adding the $\ell_1$-norm as a weighted penalty term. In order to gain a better understanding and to allow for an informed model selection, we directly solve the corresponding multiobjective optimization problem (MOP) that arises when we minimize the main objective and the $\ell_1$-norm simultaneously. As this MOP is in general non-convex for nonlinear objectives, the weighting method will fail to provide all optimal compromises. To avoid this issue, we present a continuation method which is specifically tailored to MOPs with two objective functions one of which is the $\ell_1$-norm. Our method can be seen as a generalization of well-known homotopy methods for linear regression problems to the nonlinear case. Several numerical examples - including neural network training - demonstrate our theoretical findings and the additional insight that can be gained by this multiobjective approach.
• Abstract（参考訳）: 本稿では,画像や信号処理,医用画像,圧縮センシング,機械学習(ニューラルネットワークのトレーニングなど)など,多くの科学領域において重要である線形および非線形最適化におけるスパーシリティの影響について,より詳細な知見を得ることができるアルゴリズムを提案する。 sparsityは、ノイズデータに対する堅牢性を確保する上で重要な機能であると同時に、関連する用語の数が少ないため、解釈可能で分析しやすいモデルを見つける上でも重要である。 重み付きペナルティ項に$\ell_1$-normを加えることで、スパーシティを強制するのが一般的である。 より理解を深め、情報モデル選択を可能にするために、主目的と$\ell_1$-normを同時に最小化する際に発生する対応する多目的最適化問題(MOP)を直接解決する。 この MOP は一般に非線形目的に対して非凸であるので、重み付け法は全ての最適妥協を与えることができない。 この問題を回避するために,目的関数が 2 つある MOP に特に適合する継続法,すなわち $\ell_1$-norm を提案する。 本手法は非線形の場合に対する線形回帰問題に対するよく知られたホモトピー法の一般化と見なすことができる。 ニューラルネットワークトレーニングを含むいくつかの数値例は、この多目的アプローチによって得られる理論的な知見と追加の洞察を示しています。

関連論文リスト

• Scalable Higher-Order Tensor Product Spline Models [0.0]
  本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。 本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
  論文  参考訳（メタデータ） (2024-02-02T01:18:48Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• A multiobjective continuation method to compute the regularization path of deep neural networks [1.3654846342364308]
  数値効率を保証し、モデルの解釈性を改善し、堅牢性を向上させるため、ディープニューラルネットワーク(DNN)では、スパシティは高い特徴である。 本稿では,数百万のパラメータを持つ高次元勾配に対して,上述の目的に対するスパースフロント全体を極めて効率的な方法で実現するアルゴリズムを提案する。 正規化パスの知識がネットワークパラメトリゼーションを十分に一般化することを示す。
  論文  参考訳（メタデータ） (2023-08-23T10:08:52Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• NTopo: Mesh-free Topology Optimization using Implicit Neural Representations [35.07884509198916]
  トポロジ最適化問題に対処する新しい機械学習手法を提案する。 我々は多層パーセプトロン(MLP)を用いて密度場と変位場の両方をパラメータ化する。 実験を通じて示すように、私たちのアプローチの大きな利点は、継続的ソリューション空間の自己教師付き学習を可能にすることです。
  論文  参考訳（メタデータ） (2021-02-22T05:25:22Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。