論文の概要: Sketch In, Sketch Out: Accelerating both Learning and Inference for
Structured Prediction with Kernels
- arxiv url: http://arxiv.org/abs/2302.10128v1
- Date: Mon, 20 Feb 2023 18:00:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 14:48:48.194708
- Title: Sketch In, Sketch Out: Accelerating both Learning and Inference for
Structured Prediction with Kernels
- Title(参考訳): Sketch In, Sketch Out:カーネルによる構造化予測のための学習と推論の高速化
- Authors: Tamim El Ahmad, Luc Brogat-Motte, Pierre Laforgue, Florence
d'Alch\'e-Buc
- Abstract要約: サーロゲートカーネルベースの手法は、入力空間と出力空間の両方でカーネルトリックを活用することにより、構造化された出力予測に対する柔軟なソリューションを提供する。
提案手法は,入力と出力の両方の特徴写像で特徴写像の低階射影と見なされるスケッチに基づく近似を持つ。
時間とメモリの複雑さの分析によると、入力カーネルのスケッチはトレーニング時間を短縮し、出力カーネルのスケッチは推論時間を短縮する。
- 参考スコア(独自算出の注目度): 6.126929553818864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surrogate kernel-based methods offer a flexible solution to structured output
prediction by leveraging the kernel trick in both input and output spaces. In
contrast to energy-based models, they avoid to pay the cost of inference during
training, while enjoying statistical guarantees. However, without
approximation, these approaches are condemned to be used only on a limited
amount of training data. In this paper, we propose to equip surrogate kernel
methods with approximations based on sketching, seen as low rank projections of
feature maps both on input and output feature maps. We showcase the approach on
Input Output Kernel ridge Regression (or Kernel Dependency Estimation) and
provide excess risk bounds that can be in turn directly plugged on the final
predictive model. An analysis of the complexity in time and memory show that
sketching the input kernel mostly reduces training time while sketching the
output kernel allows to reduce the inference time. Furthermore, we show that
Gaussian and sub-Gaussian sketches are admissible sketches in the sense that
they induce projection operators ensuring a small excess risk. Experiments on
different tasks consolidate our findings.
- Abstract(参考訳): surrogateカーネルベースのメソッドは、入出力空間と出力空間の両方でカーネルトリックを活用することで、構造化出力予測への柔軟なソリューションを提供する。
エネルギーベースのモデルとは対照的に、統計的保証を享受しながら、トレーニング中の推論コストの支払いを避ける。
しかし、近似がなければ、これらのアプローチは限られた量のトレーニングデータでのみ使用されると非難される。
本稿では,特徴写像の入力と出力の両方で特徴写像の低階射影と見なされるスケッチに基づく近似を用いて,カーネル手法に代用する手法を提案する。
入力出力カーネルリッジ回帰(またはカーネル依存性推定)のアプローチを示し、最終的な予測モデルに直接接続可能な過剰なリスク境界を提供する。
時間とメモリの複雑さの分析によると、入力カーネルのスケッチはトレーニング時間を短縮し、出力カーネルのスケッチは推論時間を短縮する。
さらに,ガウスと準ガウスのスケッチは,リスクの小さい射影演算子を誘導するという意味では許容できるスケッチであることを示す。
異なるタスクに関する実験は、我々の発見を固める。
関連論文リスト
- Direct Unsupervised Denoising [60.71146161035649]
教師なしのデノイザは、MMSE推定のような単一の予測を直接生成しない。
本稿では,VAEと並んで決定論的ネットワークを訓練し,中心的な傾向を直接予測するアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-27T13:02:12Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Fast Kernel Methods for Generic Lipschitz Losses via $p$-Sparsified
Sketches [3.3379026542599934]
カーネル法(カーネルほう、英: Kernel method)は、計算上の重要な制約に悩まされながら、固い理論の基礎を享受する学習アルゴリズムである。
散在したガウス(およびラデマッハ)のスケッチは、理論上有意な近似を生成する。
単一および複数出力のカーネル問題に対して過剰なリスク境界を導出し、汎用的なリプシッツ損失を与える。
論文 参考訳(メタデータ) (2022-06-08T11:50:23Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2022-02-28T13:01:04Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳(メタデータ) (2021-12-15T01:45:32Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Tractable Computation of Expected Kernels by Circuits [35.059091080947205]
我々は、期待されるカーネルを正確かつ効率的に計算できる条件を記述する。
次に、扱いやすい期待カーネルを活用して、カーネル組み込みフレームワークの進歩を実証する。
両アルゴリズムを実証的に評価し,各種データセットの標準ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-02-21T08:59:06Z) - Sparse Spectrum Warped Input Measures for Nonstationary Kernel Learning [29.221457769884648]
本研究では,非定常カーネルを学習するための明示的,入力に依存した,計測値のワーピングの一般的な形式を提案する。
提案した学習アルゴリズムは、標準定常カーネルの滑らかさを制御する条件付きガウス測度として入力をワープする。
我々は,小・大規模データ体制の学習問題において,ワーピング関数のパラメータ数に顕著な効率性を示す。
論文 参考訳(メタデータ) (2020-10-09T01:10:08Z) - Low-dimensional Interpretable Kernels with Conic Discriminant Functions
for Classification [0.0]
カーネルはしばしば、その高次元の特徴空間表現による印象的な予測力を示す暗黙のマッピング関数として開発される。
本研究では,解釈可能な低次元カーネルの集合に繋がる,一連の単純な特徴写像を徐々に構築する。
論文 参考訳(メタデータ) (2020-07-17T13:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。