論文の概要: Functional Bilevel Optimization for Machine Learning
- arxiv url: http://arxiv.org/abs/2403.20233v1
- Date: Fri, 29 Mar 2024 15:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 15:14:57.448486
- Title: Functional Bilevel Optimization for Machine Learning
- Title(参考訳): 機械学習のための機能バイレベル最適化
- Authors: Ieva Petrulionyte, Julien Mairal, Michael Arbel,
- Abstract要約: 本稿では,関数空間上での内的目的を最小化する機械学習における二段階最適化問題に対する新たな機能的視点を提案する。
機能的二段階最適化問題に対して,スケーラブルで効率的なアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 36.081761044296904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce a new functional point of view on bilevel optimization problems for machine learning, where the inner objective is minimized over a function space. These types of problems are most often solved by using methods developed in the parametric setting, where the inner objective is strongly convex with respect to the parameters of the prediction function. The functional point of view does not rely on this assumption and notably allows using over-parameterized neural networks as the inner prediction function. We propose scalable and efficient algorithms for the functional bilevel optimization problem and illustrate the benefits of our approach on instrumental regression and reinforcement learning tasks, which admit natural functional bilevel structures.
- Abstract(参考訳): 本稿では,関数空間上での内的目的を最小化する機械学習における二段階最適化問題に対する新たな機能的視点を提案する。
これらの問題は、パラメータ関数のパラメータに関して内的目的が強く凸であるパラメトリック設定で開発された手法を用いることで、最もよく解決される。
機能的な視点は、この仮定に頼らず、特に内部予測関数として過度にパラメータ化されたニューラルネットワークを使用できる。
本稿では,機能的二レベル最適化問題に対するスケーラブルで効率的なアルゴリズムを提案し,自然な機能的二レベル構造を持つインストゥルメンタルレグレッションおよび強化学習タスクに対するアプローチの利点を解説する。
関連論文リスト
- Enhancing Hypergradients Estimation: A Study of Preconditioning and
Reparameterization [49.73341101297818]
双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。
外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。
IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
論文 参考訳(メタデータ) (2024-02-26T17:09:18Z) - Operator SVD with Neural Networks via Nested Low-Rank Approximation [20.728726193728164]
本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。
上位$L$特異値と正しい順序の特異関数を学習するためのネスティングと呼ばれる新しいテクニックが提示される。
本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-02-06T03:06:06Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳(メタデータ) (2024-01-05T16:43:39Z) - Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。
既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。
軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
論文 参考訳(メタデータ) (2023-08-07T06:27:57Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - On Solution Functions of Optimization: Universal Approximation and
Covering Number Bounds [6.3291148076593355]
線形目標性(1)(LP)と近似可能なQP近似パワーの凸最適化関数解関数の表現可能性について検討する。
この結果から,制約付きプログラミングの特性の厳密な解析と,アルゴリズム設計や性能保証への示唆が得られた。
論文 参考訳(メタデータ) (2022-12-02T17:16:04Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - On the development of a Bayesian optimisation framework for complex
unknown systems [11.066706766632578]
本稿では, ベイズ最適化アルゴリズムを様々な合成試験関数に対して実験的に検討し, 比較する。
取得関数の選択とトレーニングサンプル数,取得関数の正確な計算,モンテカルロに基づくアプローチについて検討する。
論文 参考訳(メタデータ) (2022-07-19T09:50:34Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2020-03-10T03:46:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。