論文の概要: Slow Kill for Big Data Learning
- arxiv url: http://arxiv.org/abs/2305.01726v1
- Date: Tue, 2 May 2023 18:51:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 16:47:21.826656
- Title: Slow Kill for Big Data Learning
- Title(参考訳): ビッグデータ学習のためのスローキル
- Authors: Yiyuan She, Jianhui Shen, and Adrian Barbu
- Abstract要約: ビッグデータアプリケーションには、多くの場合、膨大な数の観測と推定の課題が伴います。
本稿では適応的な$ell slow$-shrinkageを利用するノンスローキルと呼ばれる新しい手法を提案する。
実データと合成データの実験結果から、遅いキルは様々な状況で最先端のアルゴリズムより優れていることが示された。
- 参考スコア(独自算出の注目度): 4.427447378048202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Big-data applications often involve a vast number of observations and
features, creating new challenges for variable selection and parameter
estimation. This paper presents a novel technique called ``slow kill,'' which
utilizes nonconvex constrained optimization, adaptive $\ell_2$-shrinkage, and
increasing learning rates. The fact that the problem size can decrease during
the slow kill iterations makes it particularly effective for large-scale
variable screening. The interaction between statistics and optimization
provides valuable insights into controlling quantiles, stepsize, and shrinkage
parameters in order to relax the regularity conditions required to achieve the
desired level of statistical accuracy. Experimental results on real and
synthetic data show that slow kill outperforms state-of-the-art algorithms in
various situations while being computationally efficient for large-scale data.
- Abstract(参考訳): ビッグデータアプリケーションは、しばしば膨大な数の観測と特徴を伴い、変数の選択とパラメータ推定のための新しい課題を生み出します。
本稿では,非凸制約最適化,適応型$\ell_2$-shrinkage,学習率の増大を利用した'slow Kill,'という新しい手法を提案する。
遅いキルイテレーション中に問題のサイズが小さくなるという事実は、大規模な変数スクリーニングに特に有効である。
統計と最適化の相互作用は、統計的精度の所望のレベルを達成するのに必要な規則性条件を緩和するために、分位数、ステップ化、縮小パラメータを制御するための貴重な洞察を提供する。
実データと合成データの実験結果から,処理速度の低下は様々な状況において最先端のアルゴリズムより優れ,大規模データには計算効率がよいことがわかった。
関連論文リスト
- AcceleratedLiNGAM: Learning Causal DAGs at the speed of GPUs [57.12929098407975]
既存の因果探索法を効率的に並列化することにより,数千次元まで拡張可能であることを示す。
具体的には、DirectLiNGAMの因果順序付けサブプロデューサに着目し、GPUカーネルを実装して高速化する。
これにより、遺伝子介入による大規模遺伝子発現データに対する因果推論にDirectLiNGAMを適用することで、競争結果が得られる。
論文 参考訳(メタデータ) (2024-03-06T15:06:11Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [63.99489591661645]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z) - Randomized Dimension Reduction with Statistical Guarantees [0.27195102129095]
この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。
一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。
具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
論文 参考訳(メタデータ) (2023-10-03T02:01:39Z) - Parallel and Limited Data Voice Conversion Using Stochastic Variational
Deep Kernel Learning [2.5782420501870296]
本稿では,限られたデータを扱う音声変換手法を提案する。
変分深層学習(SVDKL)に基づく。
非滑らかでより複雑な関数を推定することができる。
論文 参考訳(メタデータ) (2023-09-08T16:32:47Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。
既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。
本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
論文 参考訳(メタデータ) (2022-11-01T14:38:18Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳(メタデータ) (2021-12-15T20:35:21Z) - Active Importance Sampling for Variational Objectives Dominated by Rare
Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。
重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。
数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文 参考訳(メタデータ) (2020-08-11T23:38:09Z) - Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。
可変スキップは、10-100$timesの効率向上をもたらすことを示す。
論文 参考訳(メタデータ) (2020-07-10T19:01:40Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Convolutional Neural Networks as Summary Statistics for Approximate
Bayesian Computation [0.0]
本稿では,時間応答の情報的要約統計を自動学習する畳み込みニューラルネットワークアーキテクチャを提案する。
提案するネットワークは,ABC推論における前処理ステップの統計選択問題を効果的に回避できることを示す。
論文 参考訳(メタデータ) (2020-01-31T10:46:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。