論文の概要: Mean Nystr\"om Embeddings for Adaptive Compressive Learning

• arxiv url: http://arxiv.org/abs/2110.10996v1
• Date: Thu, 21 Oct 2021 09:05:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-23 05:54:28.844380
• Title: Mean Nystr\"om Embeddings for Adaptive Compressive Learning
• Title（参考訳）: 適応型圧縮学習のための平均Nystr\"om Embeddings
• Authors: Antoine Chatalic, Luigi Carratino, Ernesto De Vito, Lorenzo Rosasco
• Abstract要約: 本研究では,データ依存型Nystr"om近似に基づくスケッチ処理の考え方について検討する。 我々はk平均クラスタリングとガウスモデルについて、固定されたスケッチサイズでは、Nystr"omのスケッチはランダムな特徴で構築されたスケッチよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 25.89586989444021
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Compressive learning is an approach to efficient large scale learning based on sketching an entire dataset to a single mean embedding (the sketch), i.e. a vector of generalized moments. The learning task is then approximately solved as an inverse problem using an adapted parametric model. Previous works in this context have focused on sketches obtained by averaging random features, that while universal can be poorly adapted to the problem at hand. In this paper, we propose and study the idea of performing sketching based on data-dependent Nystr\"om approximation. From a theoretical perspective we prove that the excess risk can be controlled under a geometric assumption relating the parametric model used to learn from the sketch and the covariance operator associated to the task at hand. Empirically, we show for k-means clustering and Gaussian modeling that for a fixed sketch size, Nystr\"om sketches indeed outperform those built with random features.
• Abstract（参考訳）: 圧縮学習は、データセット全体を単一の平均埋め込み(スケッチ)、すなわち一般化モーメントのベクトルにスケッチすることに基づく、効率的な大規模学習のためのアプローチである。 学習課題は、適応パラメトリックモデルを用いて逆問題として大まかに解決される。 この文脈での以前の作品は、ランダムな特徴を平均化することで得られたスケッチに焦点を当ててきたが、ユニバーサルは目の前の問題にうまく適応できない。 本稿では,データ依存型nystr\"om近似に基づいてスケッチを行うアイデアを提案し,検討する。 理論的観点から、スケッチから学習するパラメトリックモデルと、手前のタスクに関連する共分散演算子に関する幾何学的仮定の下で、余剰リスクを制御できることを証明した。 経験的に、k平均クラスタリングとガウスモデリングについて、固定されたスケッチサイズでは、Nystr\"om スケッチは、ランダムな特徴で構築されたスケッチよりも優れていることを示す。

関連論文リスト

• Disentangled Representation Learning with the Gromov-Monge Gap [65.73194652234848]
  乱れのないデータから歪んだ表現を学習することは、機械学習における根本的な課題である。 本稿では,2次最適輸送に基づく非交叉表現学習手法を提案する。 提案手法の有効性を4つの標準ベンチマークで示す。
  論文  参考訳（メタデータ） (2024-07-10T16:51:32Z)
• Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning [5.293069542318491]
  我々は、スケッチされたリッジ回帰アンサンブルの予測リスクを推定するために、ランダム行列理論を用いて、一般化されたクロスバリデーション(GCV)の整合性を確立する。 正方形の予測リスクに対して,無作為な等価な暗黙のリッジバイアスとスケッチに基づく分散を分解し,無限アンサンブルにおけるスケッチサイズのみによるグローバルなチューニングが可能であることを証明した。 また,小型のスケッチ付きリッジ・アンサンブルを用いて,GCVを用いて非ケッチ・リッジ・レグレッションのリスクを効率的に推定できるアンサンブル・トリックを提案する。
  論文  参考訳（メタデータ） (2023-10-06T16:27:43Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Asymmetric compressive learning guarantees with applications to quantized sketches [15.814495790111323]
  大規模データセットから音声イベント分類を学習するためのフレームワークを提案する。 私たちは、このマップが各フェーズごとに異なることが許されるリラクゼーションを研究します。 次に、このフレームワークを量子化されたスケッチの設定にインスタンス化し、LPDが実際にバイナリスケッチのコントリビューションを保持することを証明します。
  論文  参考訳（メタデータ） (2021-04-20T15:37:59Z)
• Cloud2Curve: Generation and Vectorization of Parametric Sketches [109.02932608241227]
  スケーラブルな高分解能ベクトルスケッチ生成モデルであるCloud2Curveを提案する。 我々はQuick, Draw!でモデルの生成とベクトル化能力を評価する。 そしてKMNISTデータセット。
  論文  参考訳（メタデータ） (2021-03-29T12:09:42Z)
• Accumulations of Projections--A Unified Framework for Random Sketches in Kernel Ridge Regression [12.258887270632869]
  n-by-n 経験的カーネル行列のスケッチを構築することは、多くのカーネルメソッドの計算を加速するための一般的なアプローチである。 カーネルリッジ回帰におけるスケッチ手法を構築するための統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-06T05:02:17Z)
• Learning-Augmented Sketches for Hessians [54.97773807211337]
  第二次手法の文脈でヘッセンの学習スケッチを設計する方法を紹介します。 学習したスケッチは,「学習されていない」スケッチと比較して,重要な問題に対する近似精度が向上することを示す。
  論文  参考訳（メタデータ） (2021-02-24T14:50:59Z)
• Distributed Sketching Methods for Privacy Preserving Regression [54.51566432934556]
  ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。 従来のスケッチ手法に対する新しい近似保証を導出し、分散スケッチにおけるパラメータ平均化の精度を解析する。 大規模実験によるサーバレスコンピューティングプラットフォームにおける分散スケッチのパフォーマンスについて説明する。
  論文  参考訳（メタデータ） (2020-02-16T08:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。