論文の概要: A projection-based framework for gradient-free and parallel learning

• arxiv url: http://arxiv.org/abs/2506.05878v1
• Date: Fri, 06 Jun 2025 08:44:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.388683
• Title: A projection-based framework for gradient-free and parallel learning
• Title（参考訳）: 勾配自由並列学習のための投影型フレームワーク
• Authors: Andreas Bergmeister, Manish Krishan Lal, Stefanie Jegelka, Suvrit Sra,
• Abstract要約: 私たちはこのパラダイムを実現するJAXベースのソフトウェアフレームワークであるPJAXを紹介します。 PJAXは基本演算に対する射影演算子を構成し、実現可能性問題に対する解演算子を自動的に導出する。 各種アーキテクチャ(MLP、CNN、RNN)を標準ベンチマークでPJAXを用いてトレーニングし、その汎用性を実証する。
• 参考スコア（独自算出の注目度）: 50.96641619247761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a feasibility-seeking approach to neural network training. This mathematical optimization framework is distinct from conventional gradient-based loss minimization and uses projection operators and iterative projection algorithms. We reformulate training as a large-scale feasibility problem: finding network parameters and states that satisfy local constraints derived from its elementary operations. Training then involves projecting onto these constraints, a local operation that can be parallelized across the network. We introduce PJAX, a JAX-based software framework that enables this paradigm. PJAX composes projection operators for elementary operations, automatically deriving the solution operators for the feasibility problems (akin to autodiff for derivatives). It inherently supports GPU/TPU acceleration, provides a familiar NumPy-like API, and is extensible. We train diverse architectures (MLPs, CNNs, RNNs) on standard benchmarks using PJAX, demonstrating its functionality and generality. Our results show that this approach is as a compelling alternative to gradient-based training, with clear advantages in parallelism and the ability to handle non-differentiable operations.
• Abstract（参考訳）: ニューラルネットワークトレーニングにおける実現可能性探索手法を提案する。 この数学的最適化フレームワークは、従来の勾配に基づく損失最小化とは異なるものであり、射影演算子と反復射影アルゴリズムを用いる。 本研究では,ネットワークパラメータの探索と,その基本動作から生じる局所的制約を満たす状態の抽出という,大規模な実現可能性問題としてトレーニングを再構築する。 トレーニングでは、ネットワーク間で並列化可能なローカル操作である、これらの制約を投影する。 私たちはこのパラダイムを実現するJAXベースのソフトウェアフレームワークであるPJAXを紹介します。 PJAX は基本演算に対する射影作用素を構成し、実現可能性問題に対する解作用素を自動的に導出する(微分のオートディフとは無関係)。 本質的にはGPU/TPUアクセラレーションをサポートし、NumPyのようなAPIを提供し、拡張可能である。 各種アーキテクチャ(MLP、CNN、RNN)を標準ベンチマークでPJAXを用いてトレーニングし、その機能と汎用性を実証する。 提案手法は, 並列性や非微分可能操作の処理能力に明らかな優位性を有する, 勾配に基づく学習の代替手段として有益であることを示す。

関連論文リスト

• Self-Contrastive Forward-Forward Algorithm [3.1361717406527667]
  フォワードフォワード (FF) アルゴリズムは、レイヤーワイドの目的を最適化するためにフィードフォワード演算に依存する。 FFは、ほとんどの標準ベンチマークタスクで最先端のパフォーマンスに到達できなかった。 本稿では,この性能ギャップを解消するための競争訓練手法である,自己コントラストフォワード(SCFF)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-17T22:58:20Z)
• Slax: A Composable JAX Library for Rapid and Flexible Prototyping of Spiking Neural Networks [0.19427883580687189]
  本稿では,SNNアルゴリズム設計を高速化するJAXベースのライブラリであるSlaxを紹介する。 Slaxは多様なトレーニングアルゴリズムの最適化実装を提供し、直接性能比較を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T18:15:13Z)
• A foundation for exact binarized morphological neural networks [2.8925699537310137]
  ディープニューラルネットワーク(NN)のトレーニングと実行は、多くの計算とエネルギー集約的な特別なハードウェアを必要とすることが多い。 計算量と消費電力を減らす方法の1つは二重NNを使うことであるが、これは符号関数が非滑らかな勾配を持つため訓練が困難である。 本研究では,特定の条件下での性能を損なうことなく,ConvNetを二項化できる数学的形態(MM)に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-08T11:37:44Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• When Computing Power Network Meets Distributed Machine Learning: An Efficient Federated Split Learning Framework [6.871107511111629]
  CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。 私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
  論文  参考訳（メタデータ） (2023-05-22T12:36:52Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Relative gradient optimization of the Jacobian term in unsupervised deep learning [9.385902422987677]
  データを正しく記述した表現的確率モデルを学習することは、機械学習におけるユビキタスな問題である。 このタスクには深度モデルが広く使用されているが、その最大可能性に基づくトレーニングでは、ジャコビアンの対数行列式を推定する必要がある。 このようなニューラルネットワークの正確なトレーニングのための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-26T16:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。