論文の概要: Optimizing Decentralized Online Learning for Supervised Regression and Classification Problems

• arxiv url: http://arxiv.org/abs/2501.16519v1
• Date: Mon, 27 Jan 2025 21:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:40:06.834730
• Title: Optimizing Decentralized Online Learning for Supervised Regression and Classification Problems
• Title（参考訳）: 教師付き回帰と分類問題に対する分散オンライン学習の最適化
• Authors: J. M. Diederik Kruijssen, Renata Valieva, Steven N. Longmore,
• Abstract要約: 分散学習ネットワークは、複数の参加者が提供した生の推論から1つのネットワーク推論を合成することを目的としている。 分散学習ネットワークの普及にもかかわらず、関連する自由パラメータの校正を行う体系的な研究は存在しない。 ここでは、教師付き回帰と分類問題において、分散オンライン学習を管理するキーパラメータの最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Decentralized learning networks aim to synthesize a single network inference from a set of raw inferences provided by multiple participants. To determine the combined inference, these networks must adopt a mapping from historical participant performance to weights, and to appropriately incentivize contributions they must adopt a mapping from performance to fair rewards. Despite the increased prevalence of decentralized learning networks, there exists no systematic study that performs a calibration of the associated free parameters. Here we present an optimization framework for key parameters governing decentralized online learning in supervised regression and classification problems. These parameters include the slope of the mapping between historical performance and participant weight, the timeframe for performance evaluation, and the slope of the mapping between performance and rewards. These parameters are optimized using a suite of numerical experiments that mimic the design of the Allora Network, but have been extended to handle classification tasks in addition to regression tasks. This setup enables a comparative analysis of parameter tuning and network performance optimization (loss minimization) across both problem types. We demonstrate how the optimal performance-weight mapping, performance timeframe, and performance-reward mapping vary with network composition and problem type. Our findings provide valuable insights for the optimization of decentralized learning protocols, and we discuss how these results can be generalized to optimize any inference synthesis-based, decentralized AI network.
• Abstract（参考訳）: 分散学習ネットワークは、複数の参加者が提供した生の推論から1つのネットワーク推論を合成することを目的としている。 組み合わせた推論を決定するためには、これらのネットワークは、過去の参加者のパフォーマンスから重みへのマッピングを採用し、適切なインセンティブを与えるためには、パフォーマンスから公正な報酬へのマッピングを採用する必要がある。 分散学習ネットワークの普及にもかかわらず、関連する自由パラメータの校正を行う体系的な研究は存在しない。 ここでは、教師付き回帰と分類問題において、分散オンライン学習を管理するキーパラメータの最適化フレームワークを提案する。 これらのパラメータには、過去のパフォーマンスと参加者の重量のマッピングの傾き、パフォーマンス評価の時間枠、パフォーマンスと報酬のマッピングの傾きが含まれる。 これらのパラメータは、Aloraネットワークの設計を模倣する数値実験のセットを用いて最適化されているが、回帰タスクに加えて分類タスクを扱うように拡張されている。 この設定により、パラメータチューニングとネットワーク性能の最適化(ロス最小化)の比較分析が可能となる。 ネットワーク構成や問題タイプによって,最適な性能重み付けマッピング,パフォーマンスタイムフレーム,パフォーマンス逆マッピングがどう変化するかを示す。 本研究は、分散学習プロトコルの最適化に有用な知見を提供し、推論合成に基づく分散AIネットワークを最適化するために、これらの結果をいかに一般化できるかを論じる。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Rethinking Value Function Learning for Generalization in Reinforcement Learning [11.516147824168732]
  我々は、観測一般化性能を向上させるために、複数の訓練環境においてRLエージェントを訓練することの課題に焦点をあてる。 マルチ環境設定における価値ネットワークは、従来の単一環境設定よりもトレーニングデータの過度な適合を最適化し難い。 本稿では,政策ネットワークよりもトレーニングデータが多い値ネットワークを少ない頻度で最適化することにより,暗黙的に評価値のペナルティ化を行うDelayed-Critic Policy Gradient (DCPG)を提案する。
  論文  参考訳（メタデータ） (2022-10-18T16:17:47Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Understanding and Improvement of Adversarial Training for Network Embedding from an Optimization Perspective [31.312873512603808]
  Network Embeddingは、ノードをユークリッド空間にマッピングする関数を学習することを目的としており、ネットワーク上の複数の学習分析タスクに寄与する。 これらの問題に対処するために、研究者はAdvTNE(Adversarial Training for Network Embedding)を用いて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-17T16:41:53Z)
• Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
  最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。 特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
  論文  参考訳（メタデータ） (2021-03-01T04:58:27Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。