論文の概要: Slow Kill for Big Data Learning

• arxiv url: http://arxiv.org/abs/2305.01726v1
• Date: Tue, 2 May 2023 18:51:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 16:47:21.826656
• Title: Slow Kill for Big Data Learning
• Title（参考訳）: ビッグデータ学習のためのスローキル
• Authors: Yiyuan She, Jianhui Shen, and Adrian Barbu
• Abstract要約: ビッグデータアプリケーションには、多くの場合、膨大な数の観測と推定の課題が伴います。 本稿では適応的な$ell slow$-shrinkageを利用するノンスローキルと呼ばれる新しい手法を提案する。 実データと合成データの実験結果から、遅いキルは様々な状況で最先端のアルゴリズムより優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.427447378048202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Big-data applications often involve a vast number of observations and features, creating new challenges for variable selection and parameter estimation. This paper presents a novel technique called ``slow kill,'' which utilizes nonconvex constrained optimization, adaptive $\ell_2$-shrinkage, and increasing learning rates. The fact that the problem size can decrease during the slow kill iterations makes it particularly effective for large-scale variable screening. The interaction between statistics and optimization provides valuable insights into controlling quantiles, stepsize, and shrinkage parameters in order to relax the regularity conditions required to achieve the desired level of statistical accuracy. Experimental results on real and synthetic data show that slow kill outperforms state-of-the-art algorithms in various situations while being computationally efficient for large-scale data.
• Abstract（参考訳）: ビッグデータアプリケーションは、しばしば膨大な数の観測と特徴を伴い、変数の選択とパラメータ推定のための新しい課題を生み出します。 本稿では,非凸制約最適化,適応型$\ell_2$-shrinkage,学習率の増大を利用した'slow Kill,'という新しい手法を提案する。 遅いキルイテレーション中に問題のサイズが小さくなるという事実は、大規模な変数スクリーニングに特に有効である。 統計と最適化の相互作用は、統計的精度の所望のレベルを達成するのに必要な規則性条件を緩和するために、分位数、ステップ化、縮小パラメータを制御するための貴重な洞察を提供する。 実データと合成データの実験結果から,処理速度の低下は様々な状況において最先端のアルゴリズムより優れ,大規模データには計算効率がよいことがわかった。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Gradient Descent Efficiency Index [0.0]
  本研究では,各イテレーションの有効性を定量化するために,新しい効率指標Ekを導入する。 提案した測定基準は、誤差の相対的変化と繰り返し間の損失関数の安定性の両方を考慮に入れている。 Ekは、機械学習アプリケーションにおける最適化アルゴリズムの選択とチューニングにおいて、より詳細な決定を導く可能性がある。
  論文  参考訳（メタデータ） (2024-10-25T10:22:22Z)
• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models [33.911521719528686]
  微調整は、大きな言語モデルを下流タスクに適応させるには強力だが、多くの場合、大きなメモリ使用量をもたらす。 有望なアプローチはゼロ階勾配 (ZO) を使うことであり、これは第一階勾配 (FO) を置き換えると見積もられている。 本稿では,レイヤワイドスパース計算とメモリ効率の高いZO,LeZOを提案する。
  論文  参考訳（メタデータ） (2024-10-13T12:47:37Z)
• Optimizing VarLiNGAM for Scalable and Efficient Time Series Causal Discovery [5.430532390358285]
  因果発見は、データの因果関係を特定するように設計されている。 時系列因果発見は、時間的依存と潜在的な時間ラグの影響を考慮する必要があるため、特に困難である。 本研究は大規模データセット処理の実現可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-09T10:52:58Z)
• AcceleratedLiNGAM: Learning Causal DAGs at the speed of GPUs [57.12929098407975]
  既存の因果探索法を効率的に並列化することにより,数千次元まで拡張可能であることを示す。 具体的には、DirectLiNGAMの因果順序付けサブプロデューサに着目し、GPUカーネルを実装して高速化する。 これにより、遺伝子介入による大規模遺伝子発現データに対する因果推論にDirectLiNGAMを適用することで、競争結果が得られる。
  論文  参考訳（メタデータ） (2024-03-06T15:06:11Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Randomized Dimension Reduction with Statistical Guarantees [0.27195102129095]
  この論文は、高速な実行と効率的なデータ利用のためのアルゴリズムをいくつか探求している。 一般化と分散性を向上する様々なデータ拡張を組み込んだ学習アルゴリズムに着目する。 具体的には、第4章では、データ拡張整合正則化のための複雑性分析のサンプルを提示する。
  論文  参考訳（メタデータ） (2023-10-03T02:01:39Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
  深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。 可変スキップは、10-100$timesの効率向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-07-10T19:01:40Z)
• Convolutional Neural Networks as Summary Statistics for Approximate Bayesian Computation [0.0]
  本稿では,時間応答の情報的要約統計を自動学習する畳み込みニューラルネットワークアーキテクチャを提案する。 提案するネットワークは,ABC推論における前処理ステップの統計選択問題を効果的に回避できることを示す。
  論文  参考訳（メタデータ） (2020-01-31T10:46:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。