論文の概要: A Novel Sequential Coreset Method for Gradient Descent Algorithms

• arxiv url: http://arxiv.org/abs/2112.02504v1
• Date: Sun, 5 Dec 2021 08:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 15:03:58.876286
• Title: A Novel Sequential Coreset Method for Gradient Descent Algorithms
• Title（参考訳）: 勾配降下アルゴリズムのための新しいシーケンシャルコアセット法
• Authors: Jiawei Huang, Ruomin Huang, Wenjie Liu, Nikolaos M. Freris and Hu Ding
• Abstract要約: Coresetは、これまで広く研究されてきた一般的なデータ圧縮技術である。 擬似次元と全感度境界を効果的に回避する「逐次コアセット」と呼ばれる新しいフレームワークを提案する。 本手法は, コアセットサイズをさらに小さくすることで, 次元に依存した多対数しか持たない場合のスパース最適化に特に適している。
• 参考スコア（独自算出の注目度）: 21.40879052693993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A wide range of optimization problems arising in machine learning can be solved by gradient descent algorithms, and a central question in this area is how to efficiently compress a large-scale dataset so as to reduce the computational complexity. {\em Coreset} is a popular data compression technique that has been extensively studied before. However, most of existing coreset methods are problem-dependent and cannot be used as a general tool for a broader range of applications. A key obstacle is that they often rely on the pseudo-dimension and total sensitivity bound that can be very high or hard to obtain. In this paper, based on the ''locality'' property of gradient descent algorithms, we propose a new framework, termed ''sequential coreset'', which effectively avoids these obstacles. Moreover, our method is particularly suitable for sparse optimization whence the coreset size can be further reduced to be only poly-logarithmically dependent on the dimension. In practice, the experimental results suggest that our method can save a large amount of running time compared with the baseline algorithms.
• Abstract（参考訳）: 機械学習における幅広い最適化問題は勾配降下アルゴリズムによって解くことができ、この領域の中心的な問題は、計算複雑性を低減するために大規模なデータセットを効率的に圧縮する方法である。 {\em Coreset}は、これまで広く研究されてきた一般的なデータ圧縮技術である。 しかし、既存のコアセットメソッドのほとんどは問題に依存しており、幅広いアプリケーションのための汎用ツールとして利用することはできない。 鍵となる障害は、しばしば、非常に高い、あるいは得るのが難しい擬似次元と完全な感度境界に依存することである。 本稿では,勾配降下アルゴリズムの'局所'特性に基づいて,これらの障害を効果的に回避する'系列コアセット'と呼ばれる新しい枠組みを提案する。 さらに,本手法は,コアセットサイズを次元に依存した多対数のみに減らすことができる場合のスパース最適化に特に適している。 実験結果から,本手法はベースラインアルゴリズムと比較して,大量のランニング時間を節約できる可能性が示唆された。

関連論文リスト

• Approximating Metric Magnitude of Point Sets [4.522729058300309]
  計量等級は、多くの望ましい幾何学的性質を持つ点雲の「大きさ」の尺度である。 様々な数学的文脈に適応しており、最近の研究は機械学習と最適化アルゴリズムを強化することを示唆している。 本稿では, 等級問題について検討し, 効率よく近似する方法を示し, 凸最適化問題として扱うことができるが, 部分モジュラ最適化としては適用できないことを示す。 本稿では,高速に収束し精度の高い反復近似アルゴリズムと,計算をより高速に行うサブセット選択法という,2つの新しいアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-09-06T17:15:28Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints [69.27190330994635]
  コアセットの選択は、計算コストの削減とディープラーニングアルゴリズムのデータ処理の高速化に強力である。 本稿では,モデル性能とコアセットサイズに対する最適化優先順序を維持する革新的な手法を提案する。 実験的に、広範な実験によりその優位性が確認され、しばしばより小さなコアセットサイズでモデル性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T03:43:04Z)
• Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent [7.368877979221163]
  本研究では,パラメータ数が利用可能なサンプル数を大幅に上回る大規模シナリオにおいて,減衰したフィッシャー行列を効率的に解くアルゴリズムを提案する。 アルゴリズムはColesky分解に基づいており、一般に適用可能である。ベンチマークの結果、既存の手法よりもかなり高速であることが示されている。
  論文  参考訳（メタデータ） (2023-10-26T16:46:13Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Randomized Greedy Algorithms and Composable Coreset for k-Center Clustering with Outliers [11.546734084378683]
  外れ値の存在は計算の複雑さを著しく増大させる。 我々のアイデアは、通常の$k$-centerクラスタリング問題を解決するために開発されたgreedy法にインスパイアされている。
  論文  参考訳（メタデータ） (2023-01-07T09:26:01Z)
• A Scalable Finite Difference Method for Deep Reinforcement Learning [0.0]
  深層強化学習領域における分散労働者の活用に関する問題点を考察する。 我々は、典型的な条件下での全ての接続CPUの100%使用を実現する、安定で低帯域幅の学習アルゴリズムを作成する。
  論文  参考訳（メタデータ） (2022-10-14T03:33:53Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。