論文の概要: Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels

• arxiv url: http://arxiv.org/abs/2302.10128v1
• Date: Mon, 20 Feb 2023 18:00:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 14:48:48.194708
• Title: Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
• Title（参考訳）: Sketch In, Sketch Out:カーネルによる構造化予測のための学習と推論の高速化
• Authors: Tamim El Ahmad, Luc Brogat-Motte, Pierre Laforgue, Florence d'Alch\'e-Buc
• Abstract要約: サーロゲートカーネルベースの手法は、入力空間と出力空間の両方でカーネルトリックを活用することにより、構造化された出力予測に対する柔軟なソリューションを提供する。 提案手法は,入力と出力の両方の特徴写像で特徴写像の低階射影と見なされるスケッチに基づく近似を持つ。 時間とメモリの複雑さの分析によると、入力カーネルのスケッチはトレーニング時間を短縮し、出力カーネルのスケッチは推論時間を短縮する。
• 参考スコア（独自算出の注目度）: 6.126929553818864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surrogate kernel-based methods offer a flexible solution to structured output prediction by leveraging the kernel trick in both input and output spaces. In contrast to energy-based models, they avoid to pay the cost of inference during training, while enjoying statistical guarantees. However, without approximation, these approaches are condemned to be used only on a limited amount of training data. In this paper, we propose to equip surrogate kernel methods with approximations based on sketching, seen as low rank projections of feature maps both on input and output feature maps. We showcase the approach on Input Output Kernel ridge Regression (or Kernel Dependency Estimation) and provide excess risk bounds that can be in turn directly plugged on the final predictive model. An analysis of the complexity in time and memory show that sketching the input kernel mostly reduces training time while sketching the output kernel allows to reduce the inference time. Furthermore, we show that Gaussian and sub-Gaussian sketches are admissible sketches in the sense that they induce projection operators ensuring a small excess risk. Experiments on different tasks consolidate our findings.
• Abstract（参考訳）: surrogateカーネルベースのメソッドは、入出力空間と出力空間の両方でカーネルトリックを活用することで、構造化出力予測への柔軟なソリューションを提供する。 エネルギーベースのモデルとは対照的に、統計的保証を享受しながら、トレーニング中の推論コストの支払いを避ける。 しかし、近似がなければ、これらのアプローチは限られた量のトレーニングデータでのみ使用されると非難される。 本稿では,特徴写像の入力と出力の両方で特徴写像の低階射影と見なされるスケッチに基づく近似を用いて,カーネル手法に代用する手法を提案する。 入力出力カーネルリッジ回帰(またはカーネル依存性推定)のアプローチを示し、最終的な予測モデルに直接接続可能な過剰なリスク境界を提供する。 時間とメモリの複雑さの分析によると、入力カーネルのスケッチはトレーニング時間を短縮し、出力カーネルのスケッチは推論時間を短縮する。 さらに,ガウスと準ガウスのスケッチは,リスクの小さい射影演算子を誘導するという意味では許容できるスケッチであることを示す。 異なるタスクに関する実験は、我々の発見を固める。

関連論文リスト

• Deep Sketched Output Kernel Regression for Structured Prediction [21.93695380726788]
  カーネルによる損失は、構造化された出力予測タスクを定義するための原則化された方法を提供する。 我々は、構造化出力予測タスクを解決するためにニューラルネットワークをトレーニングする方法の課題に取り組む。
  論文  参考訳（メタデータ） (2024-06-13T15:56:55Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• HesScale: Scalable Computation of Hessian Diagonals [2.398608007786179]
  HesScaleは、ヘッセン行列の対角線を近似するスケーラブルなアプローチである。 HesScaleはバックプロパゲーションと同じ計算複雑性を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-20T23:50:56Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
  構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)
• Low-dimensional Interpretable Kernels with Conic Discriminant Functions for Classification [0.0]
  カーネルはしばしば、その高次元の特徴空間表現による印象的な予測力を示す暗黙のマッピング関数として開発される。 本研究では,解釈可能な低次元カーネルの集合に繋がる,一連の単純な特徴写像を徐々に構築する。
  論文  参考訳（メタデータ） (2020-07-17T13:58:54Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。