論文の概要: MIX-RS: A Multi-indexing System based on HDFS for Remote Sensing Data Storage

• arxiv url: http://arxiv.org/abs/2208.02987v1
• Date: Fri, 5 Aug 2022 05:11:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-19 10:21:07.120559
• Title: MIX-RS: A Multi-indexing System based on HDFS for Remote Sensing Data Storage
• Title（参考訳）: MIX-RS:リモートセンシングデータストレージのためのHDFSに基づくマルチインデックスシステム
• Authors: Jiashu Wu, Jingpan Xiong, Hao Dai, Yang Wang, Chengzhong Xu
• Abstract要約: 衛星技術の展開により、大量のリモートセンシング(RS)データが生成される。 RSデータの特徴(例:巨大なボリューム、大きな単一ファイルサイズ、フォールトトレランスの要求)は、Hadoop Distributed File System(HDFS)をRSデータストレージの理想的な選択肢にしている。 RSデータを使用するには、地理空間インデックス化が最も重要なテクニックである。 我々は,HDFS上のマルチインデックス機構を統一するMulti-IndeXing-RS (MIX-RS) というフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 21.033380514644616
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A large volume of remote sensing (RS) data has been generated with the deployment of satellite technologies. The data facilitates research in ecological monitoring, land management and desertification, etc. The characteristics of RS data (e.g., enormous volume, large single-file size and demanding requirement of fault tolerance) make the Hadoop Distributed File System (HDFS) an ideal choice for RS data storage as it is efficient, scalable and equipped with a data replication mechanism for failure resilience. To use RS data, one of the most important techniques is geospatial indexing. However, the large data volume makes it time-consuming to efficiently construct and leverage. Considering that most modern geospatial data centres are equipped with HDFS-based big data processing infrastructures, deploying multiple geospatial indices becomes natural to optimise the efficacy. Moreover, because of the reliability introduced by high-quality hardware and the infrequently modified property of the RS data, the use of multi-indexing will not cause large overhead. Therefore, we design a framework called Multi-IndeXing-RS (MIX-RS) that unifies the multi-indexing mechanism on top of the HDFS with data replication enabled for both fault tolerance and geospatial indexing efficiency. Given the fault tolerance provided by the HDFS, RS data is structurally stored inside for faster geospatial indexing. Additionally, multi-indexing enhances efficiency. The proposed technique naturally sits on top of the HDFS to form a holistic framework without incurring severe overhead or sophisticated system implementation efforts. The MIX-RS framework is implemented and evaluated using real remote sensing data provided by the Chinese Academy of Sciences, demonstrating excellent geospatial indexing performance.
• Abstract（参考訳）: 衛星技術の展開に伴い、大量のリモートセンシング(rs)データが生成されている。 このデータは、生態モニタリング、土地管理、砂漠化などの研究を促進する。 rsデータ(例えば、巨大なボリューム、大きな単一ファイルサイズ、フォールトトレランスの要求)の特徴により、hadoop distributed file system(hdfs)は効率的でスケーラブルで、障害回復のためのデータレプリケーションメカニズムを備えているため、rsデータストレージにとって理想的な選択肢となっている。 RSデータを使用するには、地理空間インデックス化が最も重要なテクニックである。 しかし、巨大なデータボリュームは、効率的に構築し、活用するのに時間がかかる。 現代のほとんどの地理空間データセンタはHDFSベースのビッグデータ処理インフラストラクチャを備えているため、複数の地理空間インデックスのデプロイは、有効性を最適化するために自然なものになる。 さらに、高品質なハードウェアによって導入された信頼性とRSデータの頻繁な変更により、マルチインデックスの使用は大きなオーバーヘッドを生じさせない。 そこで我々は,hdfs上でマルチインデクシング機構を統一したマルチインデクシングrs(mix-rs)と呼ばれるフレームワークを設計し,フォールトトレランスと地理空間インデクシングの効率を両立させるデータレプリケーションを実現する。 HDFSが提供する耐障害性を考えると、RSデータは構造的に内部に格納され、地理空間インデックスがより高速になる。 さらに、マルチインデックスは効率を高める。 提案手法はhdfs上に自然に存在し、厳しいオーバーヘッドやシステム実装の精巧さを伴わずに総合的なフレームワークを形成する。 MIX-RSフレームワークは中国科学アカデミーが提供する実リモートセンシングデータを用いて実装・評価され、優れた地理空間インデックス性能を示す。

関連論文リスト

• Efficient $k$-NN Search in IoT Data: Overlap Optimization in Tree-Based Indexing Structures [0.6990493129893112]
  IoT(Internet of Things)における相互接続デバイスの普及は、データの指数的な増加につながった。 この異種データの効率的な検索には、効果的な組織のための堅牢な索引付け機構が必要である。 データ空間分割の重複を定量化し、戦略的に低減する3つの革新的手法を提案する。
  論文  参考訳（メタデータ） (2024-08-28T16:16:55Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• HyP$^2$ Loss: Beyond Hypersphere Metric Space for Multi-label Image Retrieval [20.53316810731414]
  ハイブリッドプロキシペアロス(HyP$2$ロス)を用いた新しいメトリクス学習フレームワークを提案する。 提案されたHyP$2$Losは、学習可能なプロキシによるハイパースフィア空間の最適化と、無関係なペアのデータ-データ相関の探索に焦点を当てている。
  論文  参考訳（メタデータ） (2022-08-14T15:06:27Z)
• Automating DBSCAN via Deep Reinforcement Learning [73.82740568765279]
  本稿では,DBSCANの自動パラメータ検索フレームワークであるDRL-DBSCANを提案する。 このフレームワークは、クラスタリング環境をマルコフ決定プロセスとして知覚することで、パラメータ探索方向を調整する過程をモデル化する。 このフレームワークはDBSCANクラスタリングの精度を最大で26%、25%改善している。
  論文  参考訳（メタデータ） (2022-08-09T04:40:11Z)
• UDRN: Unified Dimensional Reduction Neural Network for Feature Selection and Feature Projection [37.03465340777392]
  次元還元(DR)は、高次元データを最小定義された最適化目標を持つ低次元潜在空間にマッピングする。 FSは次元の重要なサブセットの選択に重点を置いているが、データ分散(構造)を破壊するリスクがある FPは全ての入力特徴を低次元空間に結合し、データ構造を維持することを目的としている。 我々は、FSとFPをエンドツーエンドで統合する統一的なフレームワークUDRN(Unified dimensional Reduction Neural-network)を開発した。
  論文  参考訳（メタデータ） (2022-07-08T10:30:20Z)
• A Learned Index for Exact Similarity Search in Metric Spaces [25.330353637669386]
  LIMSは、学習したインデックスを構築するために、データクラスタリングとピボットベースのデータ変換技術を使用することが提案されている。 機械学習モデルはディスク上の各データレコードの位置を近似するために開発された。 実世界のデータセットと合成データセットに関する大規模な実験は、従来の指標と比較してLIMSの優位性を示している。
  論文  参考訳（メタデータ） (2022-04-21T11:24:55Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。