論文の概要: Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
- arxiv url: http://arxiv.org/abs/2302.10128v2
- Date: Mon, 6 May 2024 14:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 01:45:50.012234
- Title: Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
- Title（参考訳）: Sketch In, Sketch Out:カーネルによる構造化予測のための学習と推論の高速化
- Authors: Tamim El Ahmad, Luc Brogat-Motte, Pierre Laforgue, Florence d'Alché-Buc,
- Abstract要約: 入力/出力共分散演算子の固有デカイに依存するスケッチサイズを小さくして、最適に近い速度を得る方法を示す。
提案手法は,非スケッチなメソッドを抽出可能なベンチマークデータセット上で,最先端のパフォーマンスを実現するための拡張性を示す。
- 参考スコア（独自算出の注目度）: 10.580858171606167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging the kernel trick in both the input and output spaces, surrogate kernel methods are a flexible and theoretically grounded solution to structured output prediction. If they provide state-of-the-art performance on complex data sets of moderate size (e.g., in chemoinformatics), these approaches however fail to scale. We propose to equip surrogate kernel methods with sketching-based approximations, applied to both the input and output feature maps. We prove excess risk bounds on the original structured prediction problem, showing how to attain close-to-optimal rates with a reduced sketch size that depends on the eigendecay of the input/output covariance operators. From a computational perspective, we show that the two approximations have distinct but complementary impacts: sketching the input kernel mostly reduces training time, while sketching the output kernel decreases the inference time. Empirically, our approach is shown to scale, achieving state-of-the-art performance on benchmark data sets where non-sketched methods are intractable.
- Abstract（参考訳）: 入力空間と出力空間の両方でカーネルのトリックを活用することで、サロゲートカーネル法は、構造化された出力予測に対する柔軟で理論的に基礎付けられた解である。
もしそれらが中程度のサイズの複雑なデータセット(例えば化学情報学)に対して最先端のパフォーマンスを提供するなら、これらのアプローチはスケールに失敗する。
本稿では,カーネル手法にスケッチに基づく近似を加えて,入力特徴写像と出力特徴写像の両方に適用することを提案する。
提案手法は,入力/出力共分散演算子の固有デカイに依存するスケッチサイズを小さくして,最適に近い速度を達成する方法を示す。
入力カーネルのスケッチはトレーニング時間を大幅に短縮する一方、出力カーネルのスケッチは推論時間を短縮する。
提案手法は,提案手法が難易度の高いベンチマークデータセット上で,最先端の性能を達成し,拡張性を示す。
関連論文リスト
- Deep Sketched Output Kernel Regression for Structured Prediction [21.93695380726788]
カーネルによる損失は、構造化された出力予測タスクを定義するための原則化された方法を提供する。
我々は、構造化出力予測タスクを解決するためにニューラルネットワークをトレーニングする方法の課題に取り組む。
論文 参考訳（メタデータ） (2024-06-13T15:56:55Z) - Fundamental Limits of Two-layer Autoencoders, and Achieving Them with
Gradient Methods [91.54785981649228]
本稿では,非線形二層型オートエンコーダについて述べる。
本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。
符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
論文 参考訳（メタデータ） (2022-12-27T12:37:34Z) - HesScale: Scalable Computation of Hessian Diagonals [2.398608007786179]
HesScaleは、ヘッセン行列の対角線を近似するスケーラブルなアプローチである。
HesScaleはバックプロパゲーションと同じ計算複雑性を持つことを示す。
論文 参考訳（メタデータ） (2022-10-20T23:50:56Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。
提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。
いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2021-12-15T01:45:32Z) - Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文 参考訳（メタデータ） (2020-07-29T09:32:53Z) - Low-dimensional Interpretable Kernels with Conic Discriminant Functions
for Classification [0.0]
カーネルはしばしば、その高次元の特徴空間表現による印象的な予測力を示す暗黙のマッピング関数として開発される。
本研究では,解釈可能な低次元カーネルの集合に繋がる,一連の単純な特徴写像を徐々に構築する。
論文 参考訳（メタデータ） (2020-07-17T13:58:54Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。