論文の概要: Learned spatial data partitioning

• arxiv url: http://arxiv.org/abs/2306.04846v2
• Date: Mon, 19 Jun 2023 04:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 01:13:14.612825
• Title: Learned spatial data partitioning
• Title（参考訳）: 学習空間データのパーティショニング
• Authors: Keizo Hori, Yuya Sasaki, Daichi Amagata, Yuki Murosaki, Makoto Onizuka
• Abstract要約: まず,空間データ分割を学習し,データの位置に基づいて空間データのグループをコンピュータに効果的に割り当てる。 我々は、強化学習の文脈における空間データの分割を形式化し、新しい深層強化学習アルゴリズムを開発する。 提案手法は,距離結合クエリを高速化するためのパーティションを効率よく見つけ,ワークロードの実行時間を最大59.4%削減する。
• 参考スコア（独自算出の注目度）: 7.342228103959199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the significant increase in the size of spatial data, it is essential to use distributed parallel processing systems to efficiently analyze spatial data. In this paper, we first study learned spatial data partitioning, which effectively assigns groups of big spatial data to computers based on locations of data by using machine learning techniques. We formalize spatial data partitioning in the context of reinforcement learning and develop a novel deep reinforcement learning algorithm. Our learning algorithm leverages features of spatial data partitioning and prunes ineffective learning processes to find optimal partitions efficiently. Our experimental study, which uses Apache Sedona and real-world spatial data, demonstrates that our method efficiently finds partitions for accelerating distance join queries and reduces the workload run time by up to 59.4%.
• Abstract（参考訳）: 空間データのサイズが大幅に大きくなるため、分散並列処理システムを用いて空間データを効率的に解析することが不可欠である。 本稿では,機械学習技術を用いて空間データ分割を学習し,データの位置に基づくコンピュータに空間データのグループを効果的に割り当てる手法を提案する。 強化学習の文脈で空間データ分割を定式化し,新しい深層強化学習アルゴリズムを開発した。 学習アルゴリズムは空間データ分割とprunes非効率的な学習プロセスの特徴を活用して最適な分割を見つける。 本研究では,apache sedonaと実世界の空間データを用いた実験により,距離結合クエリを高速化するためのパーティションを効率的に発見し,最大59.4%のワークロード実行時間を削減できることを実証する。

関連論文リスト

• Efficient $k$-NN Search in IoT Data: Overlap Optimization in Tree-Based Indexing Structures [0.6990493129893112]
  IoT(Internet of Things)における相互接続デバイスの普及は、データの指数的な増加につながった。 この異種データの効率的な検索には、効果的な組織のための堅牢な索引付け機構が必要である。 データ空間分割の重複を定量化し、戦略的に低減する3つの革新的手法を提案する。
  論文  参考訳（メタデータ） (2024-08-28T16:16:55Z)
• Enabling High Data Throughput Reinforcement Learning on GPUs: A Domain Agnostic Framework for Data-Driven Scientific Research [90.91438597133211]
  我々は、強化学習の適用において重要なシステムのボトルネックを克服するために設計されたフレームワークであるWarpSciを紹介する。 我々は、CPUとGPU間のデータ転送の必要性を排除し、数千のシミュレーションを同時実行可能にする。
  論文  参考訳（メタデータ） (2024-08-01T21:38:09Z)
• TrueDeep: A systematic approach of crack detection with less data [0.0]
  ドメイン知識をディープラーニングアーキテクチャと組み合わせることで、少ないデータで同様のパフォーマンスを実現することができることを示す。 我々のアルゴリズムは、全データの23%で開発され、テストデータ上でも同様の性能を持ち、複数の盲点データセット上では大幅に性能が向上した。
  論文  参考訳（メタデータ） (2023-05-30T14:51:58Z)
• Block size estimation for data partitioning in HPC applications using machine learning techniques [38.063905789566746]
  本稿では,ブロックサイズ推定のためのBLEST-ML(BLock size ESTimation through Machine Learning)手法について述べる。 提案手法は分散コンピューティングライブラリであるdislibに適した実装を設計することで評価された。 その結果、BLEST-MLが与えられたデータセットを分割する適切な方法を効率的に決定できることを示した。
  論文  参考訳（メタデータ） (2022-11-19T23:04:14Z)
• ExClus: Explainable Clustering on Low-dimensional Data Representations [9.496898312608307]
  次元の減少とクラスタリング技術は複雑なデータセットの分析に頻繁に使用されるが、それらの結果は容易には解釈できないことが多い。 本研究では, 直接解釈できない散乱プロット上で, クラスタ構造を解釈する際のユーザ支援について検討する。 本稿では,解釈可能なクラスタリングを自動的に計算する新しい手法を提案し,その説明は元の高次元空間にあり,クラスタリングは低次元射影においてコヒーレントである。
  論文  参考訳（メタデータ） (2021-11-04T21:24:01Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Switch Spaces: Learning Product Spaces with Sparse Gating [48.591045282317424]
  製品空間における表現を学習するためのデータ駆動アプローチであるswitch spacesを提案する。 我々は空間の選択、結合、切り替えを学習するスパースゲーティング機構を導入する。 知識グラフの補完と項目レコメンデーションの実験により,提案したスイッチ空間が新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-02-17T11:06:59Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)
• Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data [93.76907759950608]
  本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。 本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T05:46:56Z)
• Auxiliary-task learning for geographic data with autoregressive embeddings [1.4823143667165382]
  本研究では,空間データの自己回帰性に関する情報を学習プロセスに直接埋め込む手法であるSXLを提案する。 局所空間自己相関の一般的な尺度である局所モランIを用いて、局所空間効果の方向と大きさを学習する。 我々は,教師なしおよび教師なしの学習タスクにおいて,ニューラルネットワークのトレーニングを継続的に改善する方法について強調する。
  論文  参考訳（メタデータ） (2020-06-18T12:16:08Z)
• Learnable Subspace Clustering [76.2352740039615]
  本研究では,大規模サブスペースクラスタリング問題を効率的に解くために,学習可能なサブスペースクラスタリングパラダイムを開発する。 鍵となる考え方は、高次元部分空間を下層の低次元部分空間に分割するパラメトリック関数を学ぶことである。 我々の知る限り、本論文は、サブスペースクラスタリング手法の中で、数百万のデータポイントを効率的にクラスタ化する最初の試みである。
  論文  参考訳（メタデータ） (2020-04-09T12:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。