論文の概要: Functional Bilevel Optimization for Machine Learning

• arxiv url: http://arxiv.org/abs/2403.20233v3
• Date: Thu, 13 Jun 2024 13:43:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 23:25:56.712067
• Title: Functional Bilevel Optimization for Machine Learning
• Title（参考訳）: 機械学習のための機能バイレベル最適化
• Authors: Ieva Petrulionyte, Julien Mairal, Michael Arbel,
• Abstract要約: 本稿では,関数空間上での内的目的を最小化する機械学習における二段階最適化問題に対する新たな機能的視点を提案する。 機能的二段階最適化問題に対して,スケーラブルで効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 36.081761044296904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a new functional point of view on bilevel optimization problems for machine learning, where the inner objective is minimized over a function space. These types of problems are most often solved by using methods developed in the parametric setting, where the inner objective is strongly convex with respect to the parameters of the prediction function. The functional point of view does not rely on this assumption and notably allows using over-parameterized neural networks as the inner prediction function. We propose scalable and efficient algorithms for the functional bilevel optimization problem and illustrate the benefits of our approach on instrumental regression and reinforcement learning tasks.
• Abstract（参考訳）: 本稿では,関数空間上での内的目的を最小化する機械学習における二段階最適化問題に対する新たな機能的視点を提案する。 これらの問題は、パラメータ関数のパラメータに関して内的目的が強く凸であるパラメトリック設定で開発された手法を用いることで、最もよく解決される。 機能的な視点は、この仮定に頼らず、特に内部予測関数として過度にパラメータ化されたニューラルネットワークを使用できる。 本稿では,機能的二段階最適化問題に対するスケーラブルで効率的なアルゴリズムを提案し,インストゥルメンタル回帰と強化学習タスクに対するアプローチの利点を解説する。

関連論文リスト

• Enhancing Hypergradients Estimation: A Study of Preconditioning and Reparameterization [49.73341101297818]
  双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。 外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。 IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
  論文  参考訳（メタデータ） (2024-02-26T17:09:18Z)
• Operator SVD with Neural Networks via Nested Low-Rank Approximation [19.562492156734653]
  本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。 最上位の$L$特異値と特異関数を正しい順序で学習するためのエンフェンシングと呼ばれる新しい手法。 本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-06T03:06:06Z)
• Nonlinear functional regression by functional deep neural network with kernel embedding [20.306390874610635]
  本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。 機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。 スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
  論文  参考訳（メタデータ） (2024-01-05T16:43:39Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• On the development of a Bayesian optimisation framework for complex unknown systems [11.066706766632578]
  本稿では, ベイズ最適化アルゴリズムを様々な合成試験関数に対して実験的に検討し, 比較する。 取得関数の選択とトレーニングサンプル数,取得関数の正確な計算,モンテカルロに基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-07-19T09:50:34Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)
• Composition of kernel and acquisition functions for High Dimensional Bayesian Optimization [0.1749935196721634]
  目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。 このap-proachは確率的代理モデルの学習/更新をより効率的にする。 都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
  論文  参考訳（メタデータ） (2020-03-09T15:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。