論文の概要: Context-Aware Inference via Performance Forecasting in Decentralized Learning Networks

• arxiv url: http://arxiv.org/abs/2510.06444v1
• Date: Tue, 07 Oct 2025 20:30:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.191669
• Title: Context-Aware Inference via Performance Forecasting in Decentralized Learning Networks
• Title（参考訳）: 分散学習ネットワークにおける性能予測による文脈認識推論
• Authors: Joel Pfeffer, J. M. Diederik Kruijssen, Clément Gossart, Mélanie Chevance, Diego Campo Millan, Florian Stecker, Steven N. Longmore,
• Abstract要約: 分散学習ネットワークでは、多くの参加者からの予測が組み合わされ、ネットワーク推論が生成される。 我々は,機械学習を用いて時系列の各エポックにおけるモデルによる予測性能を予測するモデルを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In decentralized learning networks, predictions from many participants are combined to generate a network inference. While many studies have demonstrated performance benefits of combining multiple model predictions, existing strategies using linear pooling methods (ranging from simple averaging to dynamic weight updates) face a key limitation. Dynamic prediction combinations that rely on historical performance to update weights are necessarily reactive. Due to the need to average over a reasonable number of epochs (with moving averages or exponential weighting), they tend to be slow to adjust to changing circumstances (phase or regime changes). In this work, we develop a model that uses machine learning to forecast the performance of predictions by models at each epoch in a time series. This enables `context-awareness' by assigning higher weight to models that are likely to be more accurate at a given time. We show that adding a performance forecasting worker in a decentralized learning network, following a design similar to the Allora network, can improve the accuracy of network inferences. Specifically, we find forecasting models that predict regret (performance relative to the network inference) or regret z-score (performance relative to other workers) show greater improvement than models predicting losses, which often do not outperform the naive network inference (historically weighted average of all inferences). Through a series of optimization tests, we show that the performance of the forecasting model can be sensitive to choices in the feature set and number of training epochs. These properties may depend on the exact problem and should be tailored to each domain. Although initially designed for a decentralized learning network, using performance forecasting for prediction combination may be useful in any situation where predictive rather than reactive model weighting is needed.
• Abstract（参考訳）: 分散学習ネットワークでは、多くの参加者からの予測が組み合わされ、ネットワーク推論が生成される。 多くの研究が複数のモデル予測を組み合わせることで性能上の利点を示しているが、線形プール法(単純な平均値から動的重み付け更新まで)を用いた既存の戦略は重要な制限に直面している。 重みを更新するために歴史的パフォーマンスに依存する動的予測の組み合わせは、必ずしも反応しない。 適切な数のエポック(移動平均または指数重み付けを含む)を平均化する必要があるため、状況の変化(相や体制の変化)に合わせるのが遅い傾向にある。 本研究では,機械学習を用いて時系列における各エポックモデルによる予測性能を予測するモデルを開発する。 これにより、与えられた時点でより正確なモデルにより高い重みを割り当てることで、‘context-awareness’が可能になる。 分散学習ネットワークにおける性能予測作業員の追加は、Aloraネットワークに似た設計に従って、ネットワーク推論の精度を向上させることができることを示す。 具体的には,損失予測モデルよりも後悔(ネットワーク推定に対するパフォーマンス)や後悔(他の作業者に対するパフォーマンス)を予測できる予測モデルの方が,ネットワーク推定の単純さ(すべての推論に対する歴史的に重み付けされた平均値)を上回りません。 一連の最適化テストを通して、予測モデルの性能は、特徴セットの選択肢や訓練エポックの数に敏感であることを示す。 これらの性質は正確な問題に依存する可能性があり、各領域に合わせて調整されるべきである。 当初、分散学習ネットワーク向けに設計されたが、予測の組み合わせにパフォーマンス予測を使用することは、リアクティブモデル重み付けよりも予測が必要とされる状況において有用である。

関連論文リスト

• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Boosted Dynamic Neural Networks [53.559833501288146]
  典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。 モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。 トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T04:23:12Z)
• Uncertainty-Aware Time-to-Event Prediction using Deep Kernel Accelerated Failure Time Models [11.171712535005357]
  本稿では,時間-時間予測タスクのためのDeep Kernel Accelerated Failure Timeモデルを提案する。 我々のモデルは、2つの実世界のデータセットの実験において、繰り返しニューラルネットワークに基づくベースラインよりも良い点推定性能を示す。
  論文  参考訳（メタデータ） (2021-07-26T14:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。