論文の概要: Mean-Field Limits for Two-Layer Neural Networks Trained with Consensus-Based Optimization

• arxiv url: http://arxiv.org/abs/2511.21466v1
• Date: Wed, 26 Nov 2025 14:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.15045
• Title: Mean-Field Limits for Two-Layer Neural Networks Trained with Consensus-Based Optimization
• Title（参考訳）: 合意に基づく最適化による2層ニューラルネットワークの平均場限界
• Authors: William De Deyn, Michael Herty, Giovanni Samaey,
• Abstract要約: 我々は、2層ニューラルネットワークを研究し、コンセンサスベース最適化(CBO)と呼ばれる粒子ベースの手法でそれらを訓練する。 我々は2つのテストケースでCBOとAdamを比較し、CBOとAdamを組み合わせたハイブリッドアプローチがCBOよりも早く収束することを示した。
• 参考スコア（独自算出の注目度）: 1.0195618602298684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study two-layer neural networks and train these with a particle-based method called consensus-based optimization (CBO). We compare the performance of CBO against Adam on two test cases and demonstrate how a hybrid approach, combining CBO with Adam, provides faster convergence than CBO. In the context of multi-task learning, we recast CBO into a formulation that offers less memory overhead. The CBO method allows for a mean-field limit formulation, which we couple with the mean-field limit of the neural network. To this end, we first reformulate CBO within the optimal transport framework. Finally, in the limit of infinitely many particles, we define the corresponding dynamics on the Wasserstein-over-Wasserstein space and show that the variance decreases monotonically.
• Abstract（参考訳）: 我々は2層ニューラルネットワークを研究し、コンセンサスベース最適化(CBO)と呼ばれる粒子ベースの手法でこれらを訓練する。 2つのテストケースにおけるCBOとAdamのパフォーマンスを比較し、CBOとAdamを組み合わせたハイブリッドアプローチがCBOよりも高速な収束を提供することを示す。 マルチタスク学習の文脈では、CBOをメモリオーバーヘッドの少ない定式化に再キャストする。 CBO法では,ニューラルネットワークの平均場限界と結合する平均場限界の定式化が可能である。 この目的のために、我々はまずCBOを最適な輸送フレームワークで再編成する。 最後に、無限個の粒子の極限において、ワッサーシュタイン-オーバー=ワッサーシュタイン空間上の対応する力学を定義し、その分散が単調に減少することを示す。

関連論文リスト

• BaB-prob: Branch and Bound with Preactivation Splitting for Probabilistic Verification of Neural Networks [13.26751081683149]
  プレアクティベーション分割を伴う分岐とバウンドは、ニューラルネットワークの決定論的検証に非常に有効であることが示されている。 そこで本稿では,前処理を分割することで,元の問題をサブプロブレムに反復的に分割するBaB-probを提案する。 フィードフォワード・ReLUニューラルネットワークにおけるBaB-probの健全性と完全性を証明する。
  論文  参考訳（メタデータ） (2025-09-30T01:39:39Z)
• Unrolled Graph Neural Networks for Constrained Optimization [83.29547301151177]
  2つの結合グラフニューラルネットワーク(GNN)における双対昇降アルゴリズムのダイナミクスについて検討する。 予備的ネットワークと二重ネットワークの更新を交互に行う共同学習手法を提案する。 我々の数値実験は、我々のアプローチがほぼ最適に近いほぼ実現可能な解をもたらすことを示す。
  論文  参考訳（メタデータ） (2025-09-21T16:55:41Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Dual Convexified Convolutional Neural Networks [27.0231994885228]
  二重凸畳み込みニューラルネットワーク(DCCNN)の枠組みを提案する。 このフレームワークでは、まず、凸化された畳み込みニューラルネットワーク(CCNN)から動機付けられた予備学習問題を導入する。 次に、KKT条件とフェンシェル共役条件を慎重に解析し、二重凸訓練プログラムを構築する。
  論文  参考訳（メタデータ） (2022-05-27T15:45:08Z)
• A PAC-Bayesian Analysis of Distance-Based Classifiers: Why Nearest-Neighbour works! [12.317405551932195]
  K-nearest-neighbour分類器(K-NN)の一般化誤差に対するPAC-Bayesian境界 我々は、カーネル展開における係数に関する事前測度と、カーネル空間における重みベクトルに関する誘導測度との関係を確立する。
  論文  参考訳（メタデータ） (2021-09-28T17:35:57Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。