論文の概要: CRONOS: Enhancing Deep Learning with Scalable GPU Accelerated Convex Neural Networks

• arxiv url: http://arxiv.org/abs/2411.01088v1
• Date: Sat, 02 Nov 2024 00:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:27:39.876511
• Title: CRONOS: Enhancing Deep Learning with Scalable GPU Accelerated Convex Neural Networks
• Title（参考訳）: CRONOS: スケーラブルGPUアクセラレーションコンベックスニューラルネットワークによるディープラーニングの強化
• Authors: Miria Feng, Zachary Frangella, Mert Pilanci,
• Abstract要約: 本稿では,2層ニューラルネットワークの凸最適化のためのCRONOSアルゴリズムを提案する。 CroNOSはImageNetのような高次元データセットにスケールできる最初のアルゴリズムである。 次にCRONOS-AMと呼ばれる新しいアルゴリズムを開発し、CRONOSと交互最小化を組み合わせた。
• 参考スコア（独自算出の注目度）: 42.86743939951812
• License:
• Abstract: We introduce the CRONOS algorithm for convex optimization of two-layer neural networks. CRONOS is the first algorithm capable of scaling to high-dimensional datasets such as ImageNet, which are ubiquitous in modern deep learning. This significantly improves upon prior work, which has been restricted to downsampled versions of MNIST and CIFAR-10. Taking CRONOS as a primitive, we then develop a new algorithm called CRONOS-AM, which combines CRONOS with alternating minimization, to obtain an algorithm capable of training multi-layer networks with arbitrary architectures. Our theoretical analysis proves that CRONOS converges to the global minimum of the convex reformulation under mild assumptions. In addition, we validate the efficacy of CRONOS and CRONOS-AM through extensive large-scale numerical experiments with GPU acceleration in JAX. Our results show that CRONOS-AM can obtain comparable or better validation accuracy than predominant tuned deep learning optimizers on vision and language tasks with benchmark datasets such as ImageNet and IMDb. To the best of our knowledge, CRONOS is the first algorithm which utilizes the convex reformulation to enhance performance on large-scale learning tasks.
• Abstract（参考訳）: 本稿では,2層ニューラルネットワークの凸最適化のためのCRONOSアルゴリズムを提案する。 CRONOSは、現代のディープラーニングにおいてユビキタスなImageNetのような高次元データセットにスケールできる最初のアルゴリズムである。 これは以前の作業を大幅に改善し、MNISTとCIFAR-10のサンプル化されたバージョンに制限された。 CRONOS をプリミティブとして,CRONOS と交代最小化を組み合わせた CRONOS-AM という新しいアルゴリズムを開発し,任意のアーキテクチャで多層ネットワークをトレーニング可能なアルゴリズムを得る。 我々の理論的解析は、CRONOSが軽度の仮定の下で凸改革の世界の最小値に収束することを証明している。 また,JAXにおけるGPUアクセラレーションを用いた大規模数値実験により,CRONOSとCRONOS-AMの有効性を検証した。 以上の結果から,CRONOS-AMは画像ネットやIMDbなどのベンチマークデータセットを用いて,視覚や言語タスクにおける学習の最適化を優先的に行うよりも,同等あるいは優れた検証精度が得られることが示された。 我々の知る限りでは、CRONOSは凸修正を利用して大規模学習タスクの性能を向上させる最初のアルゴリズムである。

関連論文リスト

• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• End-to-End Learning of Deep Kernel Acquisition Functions for Bayesian Optimization [39.56814839510978]
  ニューラルネットワークに基づくカーネルを用いたベイズ最適化のためのメタラーニング手法を提案する。 我々のモデルは、複数のタスクから強化学習フレームワークによって訓練されている。 3つのテキスト文書データセットを用いた実験において,提案手法が既存の手法よりも優れたBO性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-01T00:42:31Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
  最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。 我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。 CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-15T04:44:52Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Dataset Meta-Learning from Kernel Ridge-Regression [18.253682891579402]
  Kernel Inducing Points (KIP) はデータセットを1桁から2桁に圧縮することができる。 KIP学習データセットは、遅延学習体制を超えても有限幅ニューラルネットワークのトレーニングに転送可能である。
  論文  参考訳（メタデータ） (2020-10-30T18:54:04Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Learning to Optimize Non-Rigid Tracking [54.94145312763044]
  我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。 まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。 次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
  論文  参考訳（メタデータ） (2020-03-27T04:40:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。