論文の概要: Fast Instrument Learning with Faster Rates
- arxiv url: http://arxiv.org/abs/2205.10772v1
- Date: Sun, 22 May 2022 08:06:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 02:13:03.133365
- Title: Fast Instrument Learning with Faster Rates
- Title(参考訳): 速い速度で高速な計器学習
- Authors: Ziyu Wang, Yuhao Zhou, Jun Zhu
- Abstract要約: ブラックボックスとしてアクセスされるカーネル化IV法と任意の適応回帰アルゴリズムを組み合わせた簡単なアルゴリズムを提案する。
提案アルゴリズムは,高コストのミニマックス最適化手法を回避しつつ,より高速な収束と,情報伝達性のある潜在特徴の次元性に適応する。
- 参考スコア(独自算出の注目度): 34.271656281468175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate nonlinear instrumental variable (IV) regression given
high-dimensional instruments. We propose a simple algorithm which combines
kernelized IV methods and an arbitrary, adaptive regression algorithm, accessed
as a black box. Our algorithm enjoys faster-rate convergence and adapts to the
dimensionality of informative latent features, while avoiding an expensive
minimax optimization procedure, which has been necessary to establish similar
guarantees. It further brings the benefit of flexible machine learning models
to quasi-Bayesian uncertainty quantification, likelihood-based model selection,
and model averaging. Simulation studies demonstrate the competitive performance
of our method.
- Abstract(参考訳): 非線形インストゥルメンタル変数 (iv) の回帰を高次元の機器に与えて検討する。
ブラックボックスとしてアクセスされるカーネル化IV法と任意の適応回帰アルゴリズムを組み合わせた簡単なアルゴリズムを提案する。
このアルゴリズムは高速収束を享受し,情報的潜在特徴の次元性に適応する一方で,同様の保証を確立するために必要なコストのかかるミニマックス最適化手順を回避できる。
さらに、準ベイズの不確かさの定量化、確率に基づくモデル選択、モデルの平均化に柔軟な機械学習モデルの利点をもたらす。
シミュレーション研究は,本手法の競争力を示す。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳(メタデータ) (2024-10-14T12:10:06Z) - The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。
イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。
実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
論文 参考訳(メタデータ) (2024-07-30T17:03:19Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文 参考訳(メタデータ) (2024-03-28T22:45:38Z) - Adaptive Optimization Algorithms for Machine Learning [0.0]
機械学習は、データ駆動の世界において重要な役割を担います。
この論文は、新しい洞察をもたらし、収束保証を改善した新しいアルゴリズムを導入し、人気のある実用的なアルゴリズムの分析を改善する。
論文 参考訳(メタデータ) (2023-11-16T21:22:47Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳(メタデータ) (2023-07-08T15:41:48Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - OASIS: An Active Framework for Set Inversion [4.014524824655106]
本稿では,二項分類問題として定式化することで,集合反転問題の解法を提案する。
従来の学習手法に比べて少ないデータポイントで同じレベルの精度を達成できる、新しい強力なテクニックのファミリーであるアクティブラーニングに重点を置いている。
論文 参考訳(メタデータ) (2021-05-31T15:04:43Z) - Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。
提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文 参考訳(メタデータ) (2020-10-21T17:14:31Z) - Active Learning for Gaussian Process Considering Uncertainties with
Application to Shape Control of Composite Fuselage [7.358477502214471]
ガウス過程に不確実性のある2つの新しい能動学習アルゴリズムを提案する。
提案手法は不確実性の影響を取り入れ,予測性能の向上を実現する。
本手法は, 複合胴体の自動形状制御における予測モデルの改善に応用されている。
論文 参考訳(メタデータ) (2020-04-23T02:04:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。