論文の概要: HiMoE: Heterogeneity-Informed Mixture-of-Experts for Fair Spatial-Temporal Forecasting

• arxiv url: http://arxiv.org/abs/2412.00316v1
• Date: Sat, 30 Nov 2024 01:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:45.999404
• Title: HiMoE: Heterogeneity-Informed Mixture-of-Experts for Fair Spatial-Temporal Forecasting
• Title（参考訳）: HiMoE: 公平な空間・時間予測のための不均一なインフォームド・ミックス-オブ・エクスプロイト
• Authors: Shaohan Yu, Pan Deng, Yu Zhao, Junting Liu, Zi'ang Wang,
• Abstract要約: 時空間予測は輸送、気候、人間の活動領域に様々な応用がある。 現在のモデルは、異なるノード間の予測性能の均一性を高めることの重要性を見落としている。 空間時空間予測のための新しいヘテロジニティーインフォームド・ミックス・オブ・エクササイズ(HiMoE)を提案する。
• 参考スコア（独自算出の注目度）: 8.055360119228606
• License:
• Abstract: Spatial-temporal forecasting has various applications in transportation, climate, and human activity domains. Current spatial-temporal forecasting models primarily adopt a macro perspective, focusing on achieving strong overall prediction performance for the entire system. However, most of these models overlook the importance of enhancing the uniformity of prediction performance across different nodes, leading to poor prediction capabilities for certain nodes and rendering some results impractical. This task is particularly challenging due to the inherent heterogeneity of spatial-temporal data. To address this issue, in this paper, we propose a novel Heterogeneity-informed Mixture-of-Experts (HiMoE) for fair spatial-temporal forecasting. Specifically, we design a Heterogeneity-Informed Graph Convolutional Network (HiGCN), integrated into each expert model to enhance the flexibility of the experts. To adapt to the heterogeneity of spatial-temporal data, we design a Node-wise Mixture-of-Experts (NMoE). This model decouples the spatial-temporal prediction task into sub-tasks at the spatial scale, which are then assigned to different experts. To allocate these sub-tasks, we use a mean-based graph decoupling method to distinguish the graph structure for each expert. The results are then aggregated using an output gating mechanism based on a dense Mixture-of-Experts (dMoE). Additionally, fairness-aware loss and evaluation functions are proposed to train the model with uniformity and accuracy as objectives. Experiments conducted on four datasets, encompassing diverse data types and spatial scopes, validate HiMoE's ability to scale across various real-world scenarios. Furthermore, HiMoE consistently outperforms baseline models, achieving superior performance in both accuracy and uniformity.
• Abstract（参考訳）: 時空間予測は交通、気候、人間の活動領域に様々な応用がある。 現在の時空間予測モデルは、主にマクロ視点を採用し、システム全体の全体的な予測性能の向上に重点を置いている。 しかしながら、これらのモデルの多くは、異なるノード間の予測性能の均一性を高めることの重要性を軽視し、特定のノードに対する予測能力が低下し、いくつかの結果を非現実的にレンダリングする。 この課題は時空間データ固有の不均一性のため特に困難である。 この問題に対処するため,本稿では,空間時空間予測のための新しいヘテロジニティーインフォームド・ミックス・オブ・エクスプロイト(HiMoE)を提案する。 具体的には,Heterogeneity-Informed Graph Convolutional Network (HiGCN) を設計し,専門家の柔軟性を高めるために各専門家モデルに統合する。 時空間データの不均一性に適応するため、我々はNMoE(Node-wise Mixture-of-Experts)を設計する。 このモデルは空間時間予測タスクを空間スケールでサブタスクに分解し、異なる専門家に割り当てる。 これらのサブタスクを割り当てるために、各専門家のグラフ構造を識別するために平均ベースのグラフデカップリング手法を用いる。 結果は、高密度なMixture-of-Experts (dMoE)に基づく出力ゲーティング機構を用いて集約される。 さらに,一様性や精度を目標とするモデルの訓練を行うために,公平性を考慮した損失評価関数を提案する。 さまざまなデータタイプと空間スコープを含む4つのデータセットで実施された実験は、HiMoEのさまざまな実世界のシナリオにまたがる拡張性を検証する。 さらに、HiMoEはベースラインモデルより一貫して優れており、精度と均一性の両方で優れたパフォーマンスを実現している。

関連論文リスト

• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• SFANet: Spatial-Frequency Attention Network for Weather Forecasting [54.470205739015434]
  天気予報は様々な分野において重要な役割を担い、意思決定とリスク管理を推進している。 伝統的な手法は、しばしば気象系の複雑な力学を捉えるのに苦労する。 本稿では,これらの課題に対処し,天気予報の精度を高めるための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:00:15Z)
• From Reactive to Proactive Volatility Modeling with Hemisphere Neural Networks [0.0]
  我々は,新しいニューラルネットワークアーキテクチャを用いて,マクロ経済密度予測のための最大推定値(MLE)を再活性化する。 ヘミスフィアニューラルネットワーク(HNN)は、可能時の主指標に基づく積極的なボラティリティ予測と、必要時の過去の予測誤差の大きさに基づく反応性ボラティリティ予測を提供する。
  論文  参考訳（メタデータ） (2023-11-27T21:37:50Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Bayesian Spatial Predictive Synthesis [8.66529877559667]
  空間依存は、空間データ分析と予測において、一般的で重要な問題である。 本研究では,空間的に変化するモデルの不確実性を捉える新しいベイズアンサンブル手法を提案する。 本手法は, 予測性能に対する有限サンプル理論的保証を提供する。
  論文  参考訳（メタデータ） (2022-03-10T07:16:29Z)
• HYPER: Learned Hybrid Trajectory Prediction via Factored Inference and Adaptive Sampling [27.194900145235007]
  本稿では,汎用的で表現力豊かなハイブリッド予測フレームワークHYPERを紹介する。 トラヒックエージェントをハイブリッドな離散連続システムとしてモデル化することにより、我々のアプローチは時間とともに離散的な意図の変化を予測することができる。 我々は、Argoverseデータセット上でモデルをトレーニングし、検証し、その効果を包括的アブレーション研究と最先端モデルとの比較を通して実証する。
  論文  参考訳（メタデータ） (2021-10-05T20:20:10Z)
• GraphTCN: Spatio-Temporal Interaction Modeling for Human Trajectory Prediction [5.346782918364054]
  我々は,より効率的かつ正確な軌道予測を支援するために,新しいCNNベースの時空間グラフフレームワークGraphCNTを提案する。 従来のモデルとは対照的に,我々のモデルにおける空間的・時間的モデリングは各局所時間ウィンドウ内で計算される。 本モデルは,様々な軌道予測ベンチマークデータセットの最先端モデルと比較して,効率と精度の両面で優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-03-16T12:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。