論文の概要: On improving generalization in a class of learning problems with the method of small parameters for weakly-controlled optimal gradient systems

• arxiv url: http://arxiv.org/abs/2412.08772v1
• Date: Wed, 11 Dec 2024 20:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:52.712287
• Title: On improving generalization in a class of learning problems with the method of small parameters for weakly-controlled optimal gradient systems
• Title（参考訳）: 弱制御最適勾配系に対する小パラメータ法による学習問題のクラスにおける一般化の改善について
• Authors: Getachew K. Befekadu,
• Abstract要約: 制御入力が非線形項の係数としてシステム力学に入力される弱制御勾配系の変分問題を考える。 摂動理論を用いて、最適化問題の列を解くことができる結果を提供する。 また、そのような近似最適解に対する収束率を推定する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we provide a mathematical framework for improving generalization in a class of learning problems which is related to point estimations for modeling of high-dimensional nonlinear functions. In particular, we consider a variational problem for a weakly-controlled gradient system, whose control input enters into the system dynamics as a coefficient to a nonlinear term which is scaled by a small parameter. Here, the optimization problem consists of a cost functional, which is associated with how to gauge the quality of the estimated model parameters at a certain fixed final time w.r.t. the model validating dataset, while the weakly-controlled gradient system, whose the time-evolution is guided by the model training dataset and its perturbed version with small random noise. Using the perturbation theory, we provide results that will allow us to solve a sequence of optimization problems, i.e., a set of decomposed optimization problems, so as to aggregate the corresponding approximate optimal solutions that are reasonably sufficient for improving generalization in such a class of learning problems. Moreover, we also provide an estimate for the rate of convergence for such approximate optimal solutions. Finally, we present some numerical results for a typical case of nonlinear regression problem.
• Abstract（参考訳）: 本稿では,高次元非線形関数のモデリングにおける点推定に関連する学習問題のクラスにおける一般化を改善する数学的枠組みを提案する。 特に、制御入力がシステム力学に入力される弱制御勾配系の変分問題を、小さなパラメータでスケールする非線形項に対する係数として考える。 ここでは、最適化問題はコスト関数からなり、モデル検証データセットの一定の最終時間w.r.t.で推定されたモデルパラメータの品質を測定する方法と、モデルトレーニングデータセットとその乱れしたバージョンによって時間進化が導かれる弱い制御された勾配システムから構成される。 摂動理論を用いることで、最適化問題の列、すなわち分解された最適化問題の集合を解くことができ、そのような学習問題のクラスにおける一般化を改善するのに十分な、対応する近似最適解を集約することができる。 さらに、そのような近似最適解に対する収束率の推定も行う。 最後に、非線形回帰問題の典型例に対する数値的な結果を示す。

関連論文リスト

• On characterizing optimal learning trajectories in a class of learning problems [0.0]
  本稿では,学習問題のクラスにおける最適学習軌跡を特徴付けるために,最大原理と動的プログラミングの関係を利用する。 このような学習問題のクラスに対して最適な推定モデルパラメータに導かれる最適な学習軌跡を構築するためのアルゴリズム的レシピを提供する。
  論文  参考訳（メタデータ） (2025-01-27T21:43:35Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Learning Joint Models of Prediction and Optimization [56.04498536842065]
  Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-07T19:52:14Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models [5.933030735757292]
  ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。 本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。 本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T06:06:29Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Learning to Refit for Convex Learning Problems [11.464758257681197]
  ニューラルネットワークを用いて、異なるトレーニングセットに対して最適化されたモデルパラメータを推定するフレームワークを提案する。 我々は、凸問題を近似するためにニューラルネットワークのパワーを厳格に特徴づける。
  論文  参考訳（メタデータ） (2021-11-24T15:28:50Z)
• Consistency analysis of bilevel data-driven learning in inverse problems [1.0705399532413618]
  本稿では,データからの正規化パラメータの適応学習を最適化により検討する。 線形逆問題に対する我々のフレームワークの実装方法を示す。 勾配降下法を用いてオンライン数値スキームを導出する。
  論文  参考訳（メタデータ） (2020-07-06T12:23:29Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。