論文の概要: Neural Disaggregation via Spatially Coherent Architectures
- arxiv url: http://arxiv.org/abs/2306.07292v2
- Date: Thu, 21 Sep 2023 18:41:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-25 18:46:54.806969
- Title: Neural Disaggregation via Spatially Coherent Architectures
- Title(参考訳): 空間コヒーレントアーキテクチャによる神経解離
- Authors: Bin Han, Bill Howe
- Abstract要約: オープンデータは、通常プライバシーポリシーに従うために、空間的かつ時間的に集約されることが多い。
本研究では,空間データを分解し,低分解能不規則分割(ジップ符号など)から高分解能不規則分割(都市ブロックなど)への関数を学習するモデルを検討する。
本稿では,各地理的集約レベルをネットワーク内の層と整合させ,すべての集約レベルを同時に学習する階層アーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 10.202307313973158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open data is frequently released spatially and temporally aggregated, usually
to comply with privacy policies. Varying aggregation levels (e.g., zip code,
census tract, city block) complicate the integration across variables needed to
provide multi-variate training sets for downstream AI/ML systems. In this work,
we consider models to disaggregate spatial data, learning a function from a
low-resolution irregular partition (e.g., zip code) to s high-resolution
irregular partition (e.g., city block). We propose a hierarchical architecture
that aligns each geographic aggregation level with a layer in the network such
that all aggregation levels can be learned simultaneously by including loss
terms for all intermediate levels as well as the final output. We then consider
additional loss terms that compare the re-aggregated output against ground
truth to further improve performance. To balance the tradeoff between training
time and accuracy, we consider three training regimes, including a
layer-by-layer process that achieves competitive predictions with significantly
reduced training time. For situations where limited historical training data is
available, we study transfer learning scenarios and show that a model
pre-trained on one city variable can be fine-tuned for another city variable
using only a few hundred samples, highlighting the common dynamics among
variables from the same built environment and underlying population. Evaluating
these techniques on four datasets across two cities, three variables, and two
application domains, we find that geographically coherent architectures provide
a significant improvement over baseline models as well as typical heuristic
methods, advancing our long-term goal of synthesizing any variable, at any
location, at any resolution.
- Abstract(参考訳): オープンデータは、通常プライバシーポリシーに従うために、空間的および時間的に集約されることが多い。
変数集約レベル(例えば、ジップコード、国勢調査領域、都市ブロック)は、下流AI/MLシステムのための多変量トレーニングセットを提供するために必要な変数間の統合を複雑にする。
本研究では,低分解能不規則分割(zipコードなど)からs高分解能不規則分割(都市ブロックなど)へ関数を学習し,空間データを分解するモデルを検討する。
各地理的アグリゲーションレベルをネットワーク内のレイヤに整合させ,すべてのアグリゲーションレベルを,すべての中間レベルと最終出力の損失項を含むことによって同時に学習可能にする階層的アーキテクチャを提案する。
次に、再集計された出力と基底真理を比較する追加の損失項を検討し、パフォーマンスをさらに向上させる。
トレーニング時間と精度のトレードオフをバランスさせるため,学習時間を大幅に削減した競争予測を実現するレイヤ・バイ・レイヤプロセスを含む,3つのトレーニングレジームを検討する。
限られた歴史的訓練データが存在する状況に対しては, 移動学習シナリオを考察し, ある都市変数で事前学習したモデルを, 数百のサンプルのみを用いて, 都市変数に対して微調整できることを示し, 同一の環境と人口の変数間の共通ダイナミクスを強調した。
2つの都市、3つの変数、2つのアプリケーションドメインからなる4つのデータセット上でこれらの技術を評価することで、地理的に一貫性のあるアーキテクチャは、ベースラインモデルと典型的なヒューリスティックな手法よりも大幅に改善され、あらゆる場所で、任意の変数を任意の解像度で合成するという長期的な目標を前進させる。
関連論文リスト
- A Generative Pre-Training Framework for Spatio-Temporal Graph Transfer
Learning [27.804832148368916]
本稿では,STG転送学習のための新しい生成事前学習フレームワーク GPDiff を提案する。
我々はSTG転送学習を生成的ハイパーネットワークの事前学習として再考し、プロンプトで導かれる調整されたモデルパラメータを生成する。
データギャップと都市間の知識の一般化の複雑さから生じる課題に対処することで、我々のフレームワークは一貫して最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2024-02-19T08:11:26Z) - On Characterizing the Evolution of Embedding Space of Neural Networks
using Algebraic Topology [9.537910170141467]
特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。
深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
論文 参考訳(メタデータ) (2023-11-08T10:45:12Z) - Submodel Partitioning in Hierarchical Federated Learning: Algorithm
Design and Convergence Analysis [15.311309249848739]
階層学習(FL)は、従来の「星のトポロジー」アーキテクチャに基づく連合学習(FL)よりも有望なスケーラビリティを実証している。
本稿では,IoT(Internet of Things)の独立したサブトレーニングを提案する。
HISTの背景にある主要なアイデアは、モデル計算のグローバルバージョンであり、グローバルモデルを各ラウンドの非結合サブモデルに分割し、異なるセルに分散する。
論文 参考訳(メタデータ) (2023-10-27T04:42:59Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - Diversity Through Exclusion (DTE): Niche Identification for
Reinforcement Learning through Value-Decomposition [63.67574523750839]
本稿では,多変量ニッチ環境におけるベースライン深度Q-ラーニングアルゴリズムよりも優れた汎用強化学習(RL)アルゴリズムを提案する。
この方法で訓練されたエージェントは、貧弱だが魅力ある局所最適化から逃れて、より高い価値戦略の発見を困難にすることを示します。
論文 参考訳(メタデータ) (2023-02-02T16:00:19Z) - Towards Understanding and Mitigating Dimensional Collapse in
Heterogeneous Federated Learning [114.32726625370258]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳(メタデータ) (2022-06-03T02:21:01Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳(メタデータ) (2021-05-26T18:07:19Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。