論文の概要: The Nonconvex Geometry of Linear Inverse Problems

• arxiv url: http://arxiv.org/abs/2101.02776v1
• Date: Thu, 7 Jan 2021 21:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 13:23:54.269873
• Title: The Nonconvex Geometry of Linear Inverse Problems
• Title（参考訳）: 線形逆問題の非凸幾何学
• Authors: Armin Eftekhari and Peyman Mohajerin Esfahani
• Abstract要約: ゲージ関数は統計モデルの複雑性を測定する。 我々は、ゲージ関数の限界を克服する統計的複雑性、ゲージ$_p$関数の新しい概念を紹介します。 我々はゲージ$_p$関数の構成要素を持つ新しい学習マシンを提案し、このマシンを多くの統計保証付きでアームする。
• 参考スコア（独自算出の注目度）: 26.049281826055797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The gauge function, closely related to the atomic norm, measures the complexity of a statistical model, and has found broad applications in machine learning and statistical signal processing. In a high-dimensional learning problem, the gauge function attempts to safeguard against overfitting by promoting a sparse (concise) representation within the learning alphabet. In this work, within the context of linear inverse problems, we pinpoint the source of its success, but also argue that the applicability of the gauge function is inherently limited by its convexity, and showcase several learning problems where the classical gauge function theory fails. We then introduce a new notion of statistical complexity, gauge$_p$ function, which overcomes the limitations of the gauge function. The gauge$_p$ function is a simple generalization of the gauge function that can tightly control the sparsity of a statistical model within the learning alphabet and, perhaps surprisingly, draws further inspiration from the Burer-Monteiro factorization in computational mathematics. We also propose a new learning machine, with the building block of gauge$_p$ function, and arm this machine with a number of statistical guarantees. The potential of the proposed gauge$_p$ function theory is then studied for two stylized applications. Finally, we discuss the computational aspects and, in particular, suggest a tractable numerical algorithm for implementing the new learning machine.
• Abstract（参考訳）: ゲージ関数は原子のノルムと密接に関連しており、統計モデルの複雑性を測定し、機械学習や統計信号処理に広く応用されている。 高次元学習問題において、ゲージ関数は学習アルファベット内のスパース(簡潔)表現を促進することによって、過剰フィッティングから保護しようとする。 本研究では、線形逆問題の文脈において、その成功の源を指摘するが、ゲージ関数の適用性は本質的に凸性によって制限され、古典的なゲージ関数理論が失敗するいくつかの学習問題を示す。 次に、ゲージ関数の制限を克服する統計複雑性の新しい概念であるゲージ$_p$関数を導入する。 gauge$_p$関数は、ゲージ関数の単純な一般化であり、学習アルファベット内の統計モデルのスパーシティを厳しく制御することができ、おそらく驚くべきことに、計算数学におけるburer-monteiro因子分解からさらにインスピレーションを得ている。 また、ゲージ$_p$関数の構成要素を持つ新しい学習機械を提案し、このマシンを多くの統計保証付きでアームする。 提案されたゲージ$_p$関数理論のポテンシャルは、2つのスタイライズされた応用について研究される。 最後に,計算の側面を考察し,特に新しい学習機械の実装のための扱いやすい数値アルゴリズムを提案する。

関連論文リスト

• Tractable and Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation [8.378137704007038]
  一般値関数近似を用いた分布強化学習における後悔の解析について述べる。 理論的な結果は,無限次元の戻り分布を有限個のモーメント関数で近似することが,統計情報をバイアスなく学習する唯一の方法であることを示している。
  論文  参考訳（メタデータ） (2024-07-31T00:43:51Z)
• Gradient Descent Fails to Learn High-frequency Functions and Modular Arithmetic [8.813846754606898]
  本稿では,勾配に基づく学習手法を用いて,限界と課題の数学的解析を行う。 我々は、周波数または素基底$p$が大きい場合、両方の場合において勾配のばらつきが無視できるほど小さいことを強調する。
  論文  参考訳（メタデータ） (2023-10-19T11:33:33Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
  マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。 本研究では,解析結果を一般関数クラス表現に拡張する。 バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
  論文  参考訳（メタデータ） (2022-05-31T11:36:42Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• A Simple and General Debiased Machine Learning Theorem with Finite Sample Guarantees [4.55274575362193]
  我々は、あらゆる機械学習アルゴリズムのグローバルまたはローカル機能を含む、漸近的不偏性機械学習定理を提供する。 この結果は、アナリストが現代の学習理論の速度を従来の統計的推論に翻訳するために使用できる、単純な条件のセットで決定される。
  論文  参考訳（メタデータ） (2021-05-31T17:57:02Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Batch Value-function Approximation with Only Realizability [17.692408242465763]
  バッチ強化学習(RL):探索データセットからQstar$を学習する。 我々のアルゴリズムであるBVFTは、トーナメントの手順を通じて硬さ予想(探索データというより強い概念の下では)を破る。 また、BVFTが他の拡張と開問題の間のモデル選択にどのように適用できるかについても論じる。
  論文  参考訳（メタデータ） (2020-08-11T20:09:37Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。