論文の概要: Randomized Dimension Reduction with Statistical Guarantees
- arxiv url: http://arxiv.org/abs/2310.01739v1
- Date: Tue, 3 Oct 2023 02:01:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 17:54:19.392653
- Title: Randomized Dimension Reduction with Statistical Guarantees
- Title（参考訳）: 統計的保証によるランダム化次元削減
- Authors: Yijun Dong
- Abstract要約: この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。
一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。
具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
- 参考スコア（独自算出の注目度）: 0.27195102129095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large models and enormous data are essential driving forces of the
unprecedented successes achieved by modern algorithms, especially in scientific
computing and machine learning. Nevertheless, the growing dimensionality and
model complexity, as well as the non-negligible workload of data
pre-processing, also bring formidable costs to such successes in both
computation and data aggregation. As the deceleration of Moore's Law slackens
the cost reduction of computation from the hardware level, fast heuristics for
expensive classical routines and efficient algorithms for exploiting limited
data are increasingly indispensable for pushing the limit of algorithm potency.
This thesis explores some of such algorithms for fast execution and efficient
data utilization.
From the computational efficiency perspective, we design and analyze fast
randomized low-rank decomposition algorithms for large matrices based on
"matrix sketching", which can be regarded as a dimension reduction strategy in
the data space. These include the randomized pivoting-based interpolative and
CUR decomposition discussed in Chapter 2 and the randomized subspace
approximations discussed in Chapter 3.
From the sample efficiency perspective, we focus on learning algorithms with
various incorporations of data augmentation that improve generalization and
distributional robustness provably. Specifically, Chapter 4 presents a sample
complexity analysis for data augmentation consistency regularization where we
view sample efficiency from the lens of dimension reduction in the function
space. Then in Chapter 5, we introduce an adaptively weighted data augmentation
consistency regularization algorithm for distributionally robust optimization
with applications in medical image segmentation.
- Abstract（参考訳）: 大規模なモデルと巨大なデータは、現代のアルゴリズム、特に科学計算と機械学習によって達成された前例のない成功の原動力である。
それにもかかわらず、次元とモデルの複雑さの増大と、データ前処理の不要なワークロードは、計算とデータ集約の両方の成功に恐ろしいコストをもたらします。
ムーアの法則の減速により計算コストがハードウェアレベルから低下するにつれて、高価な古典ルーチンの高速ヒューリスティックスや限られたデータを利用する効率的なアルゴリズムは、アルゴリズムの能力の限界を押し上げるためにますます必要となる。
この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。
計算効率の観点から、我々は「行列スケッチ」に基づく大規模行列に対する高速ランダム化低ランク分解アルゴリズムを設計・解析し、データ空間における次元削減戦略とみなすことができる。
これらには、第2章で議論されたランダム化ピボットベースの補間およびCUR分解と、第3章で論じられたランダム化部分空間近似が含まれる。
サンプル効率の観点からは、一般化と分散ロバスト性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに焦点を当てる。
具体的には、第4章では、関数空間の次元縮小のレンズからサンプル効率を見るデータ拡張一貫性規則化のためのサンプル複雑性分析を示す。
そして,第5章では,分散的ロバスト最適化のための適応重み付きデータ拡張一貫性正規化アルゴリズムと,医用画像分割への応用について紹介する。
関連論文リスト
- Robust Clustering on High-Dimensional Data with Stochastic Quantization [0.0]
本稿では,従来のベクトル量子化アルゴリズムの限界に対処する。
量子化(SQ)を高次元計算の代替として検討する。
論文 参考訳（メタデータ） (2024-09-03T17:13:55Z) - Large-Scale OD Matrix Estimation with A Deep Learning Method [70.78575952309023]
提案手法は,ディープラーニングと数値最適化アルゴリズムを統合し,行列構造を推論し,数値最適化を導出する。
大規模合成データセットを用いて,提案手法の優れた一般化性能を実証するために実験を行った。
論文 参考訳（メタデータ） (2023-10-09T14:30:06Z) - Accelerating Machine Learning Algorithms with Adaptive Sampling [1.539582851341637]
しばしば、計算集約的なサブルーチンを、品質のほとんど劣化しない特別な種類のランダム化されたサブルーチンに置換するのに十分である。
この論文は、しばしば計算集約的なサブルーチンを、品質のほとんど劣化しない特別な種類のランダム化されたサブルーチンに置き換えるのが十分であることを示している。
論文 参考訳（メタデータ） (2023-09-25T15:25:59Z) - Accelerated Doubly Stochastic Gradient Algorithm for Large-scale
Empirical Risk Minimization [23.271890743506514]
本稿では,学習課題に対する大規模経験的リスク最小化問題を解くために,新たな高速化マルチモーメンタム手法を用いた二重アルゴリズムを提案する。
絶対的に優れた収束率を享受しながら、各イテレーションにおいて、そのようなアルゴリズムはサンプルの小さなバッチにのみアクセスし、変数座標の小さなブロックを更新する。
論文 参考訳（メタデータ） (2023-04-23T14:21:29Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Bioinspired Cortex-based Fast Codebook Generation [0.09449650062296822]
脳内の知覚皮質ネットワークにインスパイアされた特徴抽出法を提案する。
バイオインスパイアされた大脳皮質と呼ばれるこのアルゴリズムは、より優れた計算効率を持つストリーミング信号の特徴に収束する。
ここでは、クラスタリングおよびベクトル量子化における大脳皮質モデルの優れた性能を示す。
論文 参考訳（メタデータ） (2022-01-28T18:37:43Z) - Dual Optimization for Kolmogorov Model Learning Using Enhanced Gradient
Descent [8.714458129632158]
コルモゴロフモデル(コルモゴロフモデル、英: Kolmogorov model、KM)は、確率変数の集合の基本的な確率構造を学ぶための解釈可能で予測可能な表現手法である。
正規化双対最適化と拡張勾配降下法(GD)を併用した計算スケーラブルなKM学習アルゴリズムを提案する。
提案したKM学習アルゴリズムを用いた論理的関係マイニングの精度は80%以上である。
論文 参考訳（メタデータ） (2021-07-11T10:33:02Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳（メタデータ） (2021-05-23T19:21:55Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳（メタデータ） (2020-12-29T04:08:38Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。