論文の概要: Do Proportionate Algorithms Exploit Sparsity?

• arxiv url: http://arxiv.org/abs/2108.06846v1
• Date: Mon, 16 Aug 2021 00:56:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 00:44:17.114382
• Title: Do Proportionate Algorithms Exploit Sparsity?
• Title（参考訳）: Proportionate Algorithms Exploit Sparsity?
• Authors: Markus V. S. Lima, Gabriel S. Chaves, Tadeu N. Ferreira, and Paulo S. R. Diniz
• Abstract要約: 本稿では,比例型アルゴリズムの未検討の欠点と限界に対処する。 本研究の結果は,いくつかのスパースシナリオにおけるこれらのアルゴリズムの性能低下に対する理論的正当性や,非定常・圧縮可能なシステムを扱う場合の正当性について考察した。
• 参考スコア（独自算出の注目度）: 13.303007365477862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptive filters exploiting sparsity have been a very active research field, among which the algorithms that follow the "proportional-update principle", the so-called proportionate-type algorithms, are very popular. Indeed, there are hundreds of works on proportionate-type algorithms and, therefore, their advantages are widely known. This paper addresses the unexplored drawbacks and limitations of using proportional updates and their practical impacts. Our findings include the theoretical justification for the poor performance of these algorithms in several sparse scenarios, and also when dealing with non-stationary and compressible systems. Simulation results corroborating the theory are presented.
• Abstract（参考訳）: スパーシティを利用する適応フィルタは、いわゆる比例型アルゴリズムである「proportional-update principle」に従うアルゴリズムが広く使われている、非常に活発な研究分野である。 実際、比例型アルゴリズムには何百もの研究があり、その利点は広く知られている。 本稿では、比例更新の未検討の欠点と限界とその実践的影響について論じる。 我々の発見には、いくつかのスパースシナリオにおけるこれらのアルゴリズムの低性能の理論的正当化、および非定常および圧縮可能なシステムを扱う場合が含まれる。 理論を裏付けるシミュレーション結果が提示される。

関連論文リスト

• Geometry-Aware Approaches for Balancing Performance and Theoretical Guarantees in Linear Bandits [6.907555940790131]
  トンプソンサンプリングとグリーディは有望な経験的性能を示したが、これは悲観的な理論的後悔の境界とは対照的である。 本研究では不確実楕円体の幾何学的特性を追跡する新しいデータ駆動手法を提案する。 ベースアルゴリズムが不十分な問題インスタンスを特定し,コース修正する。
  論文  参考訳（メタデータ） (2023-06-26T17:38:45Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• An Operator Theoretic Perspective on Pruning Deep Neural Networks [2.624902795082451]
  我々は、動的システム理論の最近の進歩を利用して、理論上動機付けられたプルーニングアルゴリズムの新しいクラスを定義する。 これらのアルゴリズムは、等級や勾配に基づくプルーニングと等価であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T02:33:50Z)
• Performance Analysis of Fractional Learning Algorithms [32.21539962359158]
  従来のアルゴリズムよりも格段に優越性が高いかどうかは定かでないが、その性能が広範に分析されることはなかったため神話である。 本稿では,最小平均二乗および最急降下アルゴリズムの分数変分を厳密に解析する。 学習アルゴリズムの性能に関するその起源と結果について論じ,素早い準備の整った治療法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T12:06:44Z)
• Discrepancy-Based Active Learning for Domain Adaptation [7.283533791778357]
  この論文の目的は、ドメインシフトの仮定の下でドメイン適応につながるアクティブな学習戦略を設計することである。 一般損失関数に対するラデマッハ平均と局所偏差の観点から,このようなアクティブ学習戦略の境界を導出する。 大規模データセットの場合に対処するために,アルゴリズムの改良版を提供する。
  論文  参考訳（メタデータ） (2021-03-05T15:36:48Z)
• Nonparametric adaptive active learning under local smoothness condition [0.76146285961466]
  本稿では,最小仮定の非パラメトリック環境における適応型アクティブラーニングの問題に対処する。 従来知られていたアルゴリズムよりも,より一般的な仮定の下で有効な新しいアルゴリズムを提案する。 我々のアルゴリズムは最小収束率を達成し、最もよく知られた非適応アルゴリズムと同等に機能する。
  論文  参考訳（メタデータ） (2021-02-22T14:47:21Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)
• Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
  主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。 スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。 本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-23T04:25:36Z)
• Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
  適応性は現代最適化理論において重要であるが、研究されていない性質である。 提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
  論文  参考訳（メタデータ） (2020-02-13T05:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。