論文の概要: Spatial Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2211.13491v1
• Date: Thu, 24 Nov 2022 09:31:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 17:39:29.551371
• Title: Spatial Mixture-of-Experts
• Title（参考訳）: 専門家の空間的混合
• Authors: Nikoli Dryden and Torsten Hoefler
• Abstract要約: 本稿では、入力領域における空間構造を学習し、専門家をきめ細かいレベルでルーティングし、それを利用する空間混合層を提案する。 我々は,多くのタスクにおいてSMoEの強い結果を示し,中距離気象予報と後処理のアンサンブル天気予報の新しい結果を設定した。
• 参考スコア（独自算出の注目度）: 16.71096722340687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many data have an underlying dependence on spatial location; it may be weather on the Earth, a simulation on a mesh, or a registered image. Yet this feature is rarely taken advantage of, and violates common assumptions made by many neural network layers, such as translation equivariance. Further, many works that do incorporate locality fail to capture fine-grained structure. To address this, we introduce the Spatial Mixture-of-Experts (SMoE) layer, a sparsely-gated layer that learns spatial structure in the input domain and routes experts at a fine-grained level to utilize it. We also develop new techniques to train SMoEs, including a self-supervised routing loss and damping expert errors. Finally, we show strong results for SMoEs on numerous tasks, and set new state-of-the-art results for medium-range weather prediction and post-processing ensemble weather forecasts.
• Abstract（参考訳）: 多くのデータは、地球上の天気、メッシュ上のシミュレーション、または登録された画像など、空間的な位置に依存している。 しかし、この機能はめったに利用されず、翻訳等、多くのニューラルネットワーク層によってなされる一般的な仮定に違反している。 さらに、局所性を組み込んだ多くの作品では微細な構造を捉えることができない。 そこで本稿では,入力領域における空間構造を学習し,それを利用するために専門家をきめ細かなレベルでルーティングする,疎開層SMOE(Spatial Mixture-of-Experts)について紹介する。 また、自己教師付きルーティング損失や専門家の誤りを抑えるなど、SMoEsを訓練する新しい手法を開発した。 最後に,多くのタスクにおけるsmoesの強い結果を示し,中規模気象予報と処理後の天気予報のための最新結果を新たに設定する。

関連論文リスト

• RPMixer: Shaking Up Time Series Forecasting with Random Projections for Large Spatial-Temporal Data [33.0546525587517]
  RPMixer と呼ばれる全MLP時系列予測アーキテクチャを提案する。 提案手法は,各ブロックがアンサンブルモデルにおいてベース学習者のように振る舞う深層ニューラルネットワークのアンサンブル的挙動に乗じる。
  論文  参考訳（メタデータ） (2024-02-16T07:28:59Z)
• CMG-Net: Robust Normal Estimation for Point Clouds via Chamfer Normal Distance and Multi-scale Geometry [23.86650228464599]
  この研究は、点雲から正規度を推定するための正確で堅牢な方法を示す。 まず,この問題に対処するため,シャンファー正規距離(Chamfer Normal Distance)と呼ばれる新しい尺度を提案する。 マルチスケールな局所的特徴集約と階層的幾何情報融合を含む革新的なアーキテクチャを考案する。
  論文  参考訳（メタデータ） (2023-12-14T17:23:16Z)
• Learning Robust Precipitation Forecaster by Temporal Frame Interpolation [65.5045412005064]
  本研究では,空間的不一致に対するレジリエンスを示す頑健な降水予測モデルを構築した。 提案手法は,textit4cast'23コンペティションの移行学習リーダーボードにおいて,textit1位を確保したモデルにおいて,予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-11-30T08:22:08Z)
• Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
  本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。 我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。 本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
  論文  参考訳（メタデータ） (2023-07-04T05:19:19Z)
• Exploring the Application of Large-scale Pre-trained Models on Adverse Weather Removal [97.53040662243768]
  ネットワークが異なる気象条件を適応的に処理できるようにするために,CLIP埋め込みモジュールを提案する。 このモジュールは、CLIP画像エンコーダによって抽出されたサンプル特定気象と、パラメータセットによって学習された分布特定情報を統合する。
  論文  参考訳（メタデータ） (2023-06-15T10:06:13Z)
• SARN: Structurally-Aware Recurrent Network for Spatio-Temporal Disaggregation [8.636014676778682]
  オープンデータは、通常プライバシーポリシーに従うために、しばしば空間的に集約される。しかし、粗い、異質な集約は、下流のAI/MLシステムに対する一貫性のある学習と統合を複雑にする。 本稿では,空間的注意層をGRU(Gated Recurrent Unit)モデルに統合したSARN(Structurely-Aware Recurrent Network)を提案する。 履歴学習データに制限のあるシナリオでは、ある都市変数に事前学習したモデルを、数百のサンプルのみを用いて、他の都市変数に対して微調整できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T21:01:29Z)
• Semi-signed neural fitting for surface reconstruction from unoriented point clouds [53.379712818791894]
  より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。 SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。 我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
  論文  参考訳（メタデータ） (2022-06-14T09:40:17Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)
• Exploiting latent representation of sparse semantic layers for improved short-term motion prediction with Capsule Networks [0.12183405753834559]
  本稿では,HD(High-Definition)マップの小さな領域に対応するスパースなセマンティクス層の階層的表現を学習する文脈において,Capsule Networks(CapsNets)の利用を検討する。 CapsNetsに基づくアーキテクチャを使用することで、検出された画像内の特徴間の階層的関係を維持すると同時に、プール操作によってしばしば発生する空間データの損失を防ぐことができる。 本モデルでは,ネットワーク全体の規模を大幅に削減しつつ,予測に関する最近の研究よりも大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-03-02T11:13:43Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。