論文の概要: Nonlinear Functional Output Regression: a Dictionary Approach
- arxiv url: http://arxiv.org/abs/2003.01432v4
- Date: Fri, 26 Feb 2021 15:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 21:59:27.563411
- Title: Nonlinear Functional Output Regression: a Dictionary Approach
- Title(参考訳): 非線形関数型出力回帰:辞書アプローチ
- Authors: Dimitri Bouche, Marianne Clausel, Fran\c{c}ois Roueff and Florence
d'Alch\'e-Buc
- Abstract要約: 本稿では,辞書上に拡張された関数の予測を学習する新しい辞書ベースの手法であるプロジェクション・ラーニング(PL)を紹介する。
PLは機能的損失に基づいて経験的リスクを最小限にする。
PLは特に計算コストとパフォーマンスのトレードオフを享受しています。
- 参考スコア(独自算出の注目度): 1.8160945635344528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To address functional-output regression, we introduce projection learning
(PL), a novel dictionary-based approach that learns to predict a function that
is expanded on a dictionary while minimizing an empirical risk based on a
functional loss. PL makes it possible to use non orthogonal dictionaries and
can then be combined with dictionary learning; it is thus much more flexible
than expansion-based approaches relying on vectorial losses. This general
method is instantiated with reproducing kernel Hilbert spaces of vector-valued
functions as kernel-based projection learning (KPL). For the functional square
loss, two closed-form estimators are proposed, one for fully observed output
functions and the other for partially observed ones. Both are backed
theoretically by an excess risk analysis. Then, in the more general setting of
integral losses based on differentiable ground losses, KPL is implemented using
first-order optimization for both fully and partially observed output
functions. Eventually, several robustness aspects of the proposed algorithms
are highlighted on a toy dataset; and a study on two real datasets shows that
they are competitive compared to other nonlinear approaches. Notably, using the
square loss and a learnt dictionary, KPL enjoys a particularily attractive
trade-off between computational cost and performances.
- Abstract(参考訳): 機能的出力回帰に対処するために,機能的損失に基づいて経験的リスクを最小限に抑えつつ,辞書上に拡張された関数を予測する新しい辞書ベースの手法であるプロジェクション学習(PL)を導入する。
PLは非直交辞書を使用でき、辞書学習と組み合わせることができるため、ベクトル的損失に依存する拡張ベースのアプローチよりもはるかに柔軟である。
この一般的な方法は、kpl(kernel-based projection learning)としてベクトル値関数のカーネルヒルベルト空間を再現することでインスタンス化される。
機能的二乗損失については、完全観測出力関数と部分観測出力関数の2つの閉形式推定器が提案されている。
どちらも理論的には過剰なリスク分析によって裏付けられている。
そして、微分可能な基底損失に基づく積分損失のより一般的な設定において、完全および部分的な出力関数の1次最適化を用いてKPLを実装した。
最終的に、提案されたアルゴリズムのいくつかのロバスト性側面は、おもちゃのデータセットで強調され、2つの実データセットの研究により、他の非線形アプローチと比べて競争力があることが示された。
特に、正方形損失と学習辞書を用いて、kplは特に計算コストと性能のトレードオフを享受している。
関連論文リスト
- Tensor Decomposition with Unaligned Observations [4.970364068620608]
アンアラインな観測モードは、再生カーネルヒルベルト空間(RKHS)の関数を用いて表現される
本稿では,2値型,整数値型,正値型など,データの種類を効果的に説明できる多元的損失関数を提案する。
また、$ell$ロス関数を使用する際の効率向上のためにスケッチアルゴリズムも導入された。
論文 参考訳(メタデータ) (2024-10-17T21:39:18Z) - Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。
ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。
有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
論文 参考訳(メタデータ) (2024-05-23T16:45:52Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。
本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文 参考訳(メタデータ) (2023-10-02T17:42:01Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - Functional Output Regression with Infimal Convolution: Exploring the
Huber and $\epsilon$-insensitive Losses [1.7835960292396256]
本稿では,Forceファミリーの様々な形態のアウトレーヤや疎結合を扱えるフレキシブルなフレームワークを提案する。
計算的に抽出可能なアルゴリズムを双対性に頼って、結果のタスクに対処する。
このアプローチの効率は、合成ベンチマークと実世界のベンチマークの両方において古典的な2乗損失設定と対比され、比較される。
論文 参考訳(メタデータ) (2022-06-16T14:45:53Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳(メタデータ) (2022-04-20T21:15:38Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Fine-grained Generalization Analysis of Vector-valued Learning [28.722350261462463]
正規化ベクトル値学習アルゴリズムの一般化解析を,出力次元に軽度依存する境界とサンプルサイズに高速速度を提示することで開始する。
最適化と学習の相互作用を理解するために、結果を使用して、ベクトル値関数による降下の最初の境界を導出します。
副生成物として、一般凸函数の項で定義される損失関数クラスに対してラデマッハ複雑性を導出する。
論文 参考訳(メタデータ) (2021-04-29T07:57:34Z) - Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文 参考訳(メタデータ) (2020-07-29T09:32:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。